база данных, которая будет использоваться для хранения журнала

Question

Я запускаю инструмент мониторинга журналов, который фиксирует журналы аудита, журналы брандмауэра и многие другие журналы. У меня есть проблема в выборе подходящего типа базы данных для этого проекта с количеством генерируемых журналов в секунду - не менее 500, которые необходимо сохранить.

Предположим, что это должно поддерживать 1BN + записи журнала в месяц. Два фактора, которые, скорее всего, вступят в игру, - это способность быстро писать, а также быстро отображать отчеты.

Answer 1

Общий стек, используемый для хранения журналов, представляет собой стек ELK, состоящий из Elastic search, Logstash и Kibana.

• E Lastic поиска используется для хранения документов и может выполнять запросы.
• L ogstash контролирует и анализирует журналы.
• K ibana используется для создания отчетов, основанных на данных в упругом поиске.

Есть и другие варианты. Splunk - это платное решение, которое делает все вышеперечисленное. Graylog - это еще одно решение, похожее на splunk.