Самые большие отчеты с PHP и MySQL

Question

Добрый день.

Я думаю, что вы уже старики, но до сих пор не получили окончательного ответа. В программном обеспечении с миллионами (даже миллиардами) вам нужно сделать отчет, но это невозможно сделать, если не искать все данные и работать с ними в PHP, например.

проблемы:

1 - Естественно, что эти записи потребуется много, чтобы добраться до PHP, так как размер данных учитывается в ГБ. 2 - Поместите все эти данные в массив PHP, чтобы их обработать, приведет к тому, что памяти недостаточно.

Неужели кто-то из вас преодолел эту дилемму? Для таблиц с тысячами данных уже наблюдается медленность, и проблема заключается не в вопросе, поскольку для меня это был атимизада (который, я признаю, не большой знаток базы данных) и большинство экспертов, проблема действительно в PHP. ИТЕРАТЬ слышал, но, может быть, вы знаете решение с более длинным примером.

Я считаю этот вопрос полезным для многих пользователей, которые прошли или все еще проходят через него.

Благодарю вас.

Answer 1

Обычно, когда у вас есть много данных, вы должны каждый раз загружать только кусок его в память.
Выполните свою операцию на каждом фрагменте и вычислите окончательный отчет.

Если ваша операция достаточно проста, вы можете позволить MySQL сделать это за вас, если у вас есть достаточное количество оперативной памяти (но это дешево купить).

Также обратите внимание, что если у вас больше данных, чем объем вашей памяти, не имеет значения, используете ли вы PHP или какой-либо другой язык. Алгоритм, который вы используете, является главной задачей.