Импорт 10 ГБ файла SQL

Question

У меня есть файл объемом 10 ГБ с миллионами строк в 72 таблицах. Мой двигатель для хранения составляет innodb.

Я создал базу данных со всеми необходимыми таблицами и выдал следующую команду в MySQL строке:

mysql> source path/to/my/sqlfile.sql 

Было бы здорово работать, пока он не получил около 10% пути. Он начнется быстро, и через несколько минут или позже он замедляется до трех секунд в инструкции вставки и замедляет до 10 секунд на каждую вставку.

Он работает в течение трех дней и 30% данных были восстановлены.

Не могу понять, почему это так медленно?

Answer 1

Это хорошая идея, чтобы начать загрузку, отключив внешний ключ проверки, чтобы ускорить загрузку:

mysql> SET foreign_key_checks = 0; 
mysql> SOURCE dump_file_name; 
mysql> SET foreign_key_checks = 1; 

Это предложенный manual сделать загрузку проще (таблицы не должны быть загружены в порядке) и быстрее (внешние ключи не проверяются при вставке строки).

Кроме того, вы также можете отключить UNIQUE_CHECKS (SET UNIQUE_CHECKS=0).

Дальнейшая оптимизация довольно сложная, не видя DDL и данные. Существует несколько optionsyoucouldtry.