Остановить MySQL от пересчета предыдущих строк

Question

У меня есть сценарий импорта, который должен импортировать ~ 500 000 записей из старой и моей старой системы в мой новый, но для импорта требуется немного PHP-обработки (для большей проверки на местах, например, для телефона числа, поэтому я не могу использовать MySQL для обработки).

Две вещи, в которых я нуждаюсь, - это возможность следить за ходом импорта, а для скрипта PHP не заканчиваться из памяти (поэтому я не могу просто сразу выбрать все строки).

Итак, я достиг этого, создав переменную разрешения и счетчик, который увеличивается (вроде как страница для разбиения на страницы), которая будет захватывать первое количество строк, обрабатывать, импортировать строки в новую и затем обход вокруг и захват следующего набора строк.

Теперь проблема заключается, когда у меня есть:

select `Column` from `table` where `Something`=1 limit 0, 1000; 

Это занимает сказать, 5 секунд. Но так что теперь на следующем цикле у меня есть:

select `Column` from `table` where `Something`=1 limit 1000, 2000; 

Который занимает 10 секунд, потому что он должен пересчитать строки из первого контура, чтобы иметь возможность получить следующий набор строк. Как вы можете видеть, это становится супер медленным супер быстрым, поэтому я бы обошел это без дополнительных вычислений из предыдущих циклов?

Answer 1

Я бы предложил добавить пункт ORDER BY xxx с индексом на столбцах (Something, xxx).

A LIMIT без ORDER BY действительно не имеет значения здесь, поскольку у вас не будет контроля над тем, какие строки появятся в каждом наборе.