Вставка 1 миллиона записей в mysql

Question

У меня есть две таблицы, и в обеих таблицах я получаю 1 миллион записей. И каждую ночь я использую работу cron для вставки записей. В первой таблице я сначала обрезаю таблицу, а затем вставляю записи и во второй таблице я обновляю и вставляю запись в соответствии с первичным ключом. Я использую mysql в качестве моей базы данных. Моя проблема заключается в том, что мне нужно выполнять эту задачу каждый день, но я не могу вставить все данные. Что может быть возможным решением этой проблемы?

Answer 1

Важно, чтобы все виды действия и проверки MySQL хочет выполнить при отправке данных, как AUTOCOMMIT, индексирование и т.д.

https://dev.mysql.com/doc/refman/5.7/en/optimizing-innodb-bulk-data-loading.html

Потому что, если вы не сделаете этого, MySQL делает много работы после того, как каждая запись добавляется, и это добавляет , когда процесс продолжается, что приводит к очень медленной обработке и импорту в конце и может не завершиться за один день.

Answer 2

Если вы должны использовать MySql: для первой таблицы отключите индексы, внесите вставки, чем включите индексы. Это будет работать быстрее.

В качестве альтернативы MongoDb будет быстрее, а Redis - очень быстро.