Обработка файлов журнала: Apache Storm или Spark

Question

У меня есть требование обрабатывать данные файла журнала. Это относительно тривиально. У меня есть 4 сервера с двумя веб-приложениями, работающими на каждом из которых в общей сложности 8 файлов журнала. Они вращаются на регулярной основе. Я пишу данные в следующем формате в эти файлы журналов

Источник Timestamp: 9340398; 39048039; 930483; 3940830

Где номера являются идентификаторы в хранилище данных. Я хочу настроить процесс для чтения этих журналов, и для каждого идентификатора он будет обновлять счет в зависимости от того, сколько раз его идентификатор был зарегистрирован. Это может быть как в реальном времени, так и в партии. Моим языком интерфейса для хранилища данных является Java. Процесс запускается в процессе производства, поэтому он должен быть надежным, но также должен иметь относительно простую архитектуру, поэтому он может обслуживаться. Мы также запускаем zookeeper.

Моя первоначальная мысль заключалась в том, чтобы делать это в пакете всякий раз, когда файл журнала поворачивается с использованием искры Apache на каждом сервере. Однако я тогда посмотрел на агрегировщиков журналов, таких как Apache Flume, Kafka и Storm, но это кажется излишним.

Учитывая множество вариантов, у кого есть какие-либо хорошие предложения относительно того, какие инструменты использовать для решения этой проблемы на основе опыта?

Answer 1

8 файлов журнала, похоже, не гарантируют технологию «больших данных». Если вы хотите начать игру с этим типом технологии, я бы посоветовал вам начать с Spark и/или Flink - оба имеют относительно похожую модель программирования, оба могут обрабатывать «бизнес в реальном времени» (Flink лучше в но оба будут работать в вашем случае). Шторм является относительно жестким (трудно изменить топологии) и имеет более сложную модель программирования