Сохранение и отображение статистики

Question

Я собираюсь написать некоторое программное обеспечение на PHP для анализа файлов журнала и агрегирования данных, а затем отобразить их в виде графиков (например, гистограммы, а не вершины и ребра).

Да, это программное обеспечение для ведения бизнеса, которое у моей компании есть целая команда, но, видимо, они не делают отличную работу (10 минут, чтобы загрузить страницу, просто этого не делает).

Вот что я должен делать:

• Файлы журнала представляют собой файлы данных, которые хранит исходные данные с сервера статистики мы имеем установки, идущие от нашего офиса (мы посылаем асинхронные вызовы к серверу статистики вроде как Гугл Аналитика). Он хранит данные в формате csv.
• написать скрипт для разбора файлов и агрегировать данные в базу данных (или я думал о Redis)
• Там будут миллионы и миллионы вещей агрегировать поэтому при отображении статистики он должен быть быстрым

Я знаю о OLAP для БД, но если я хочу пойти с redis, вы думаете, что он будет масштабироваться для больших объемов данных? Как вы считаете, для синтаксического анализа файлов достаточно PHP-скрипта или я должен идти с чем-то более быстрым, например C/C++?

В основном я хотел бы получить интересные идеи о различных способах выполнения моей задачи. Он должен быть быстрым и масштабируемым.

Любые идеи?

Answer 1

Похоже, что в масштабах, о которых вы говорите, вам необходимо разделить агрегацию и отображение данных. То есть, вы должны иметь некоторый процесс, который будет работать для получения файлов журнала при их создании, анализировать их и вставлять данные в базу данных; это будет долгая, сложная задача. Затем, когда пользователь хочет отобразить график данных, они могут сделать запрос на сервер PHP, который вытащит данные из базы данных и построит необходимый им дисплей. Таким образом, ваш синтаксический разбор отделен от вашего запроса на отображение (хотя он по-прежнему зависит от серийного номера, ваш синтаксический анализ может начинаться, когда лог-файлы становятся доступными, и поэтому отставание, участвующее в разборе их, скрывается во время отображения).