база данных для приложения анализа журналов в java - 2014

Question

Я хочу создать приложение java для обработки и анализа прямых потоковых журналов. Я также должен реализовать некоторые сложные функции фильтра. Я проводил исследование по поиску наилучшей подходящей базы данных для этого же.

я наткнулся на многих портативных базе данных как MongoDB, HBase, h2 и все. Среди всех, mongodb, кажется, лучший кандидат. Но для моего требования, может быть вставка и выбор происходит в то же время. Где-то я читал: mongodb не лучший при обработке параллелизма.

Я уверен, что продвижение производительности базы данных будет играть решающую роль во всей производительности приложения. Я столкнулся со многими переполнениями стека относительно того же самого. Но дело в том, что все они попросили 2 или более лет назад. Может ли mongodb обрабатывать параллелизм? Есть ли какая-нибудь другая портативная база данных, которая лучше, чем mongodb для того же? Пожалуйста, помогите.

Answer 1

Вы рассматривали какое-то решение, например, как elasticsearch в сочетании с кибаной и td-агентом?

Он обеспечивает асинхронное ведение журнала. Я использовал его для хранения и анализа 30 миллионов событий в день с нескольких серверов, но это зависит от того, что вы хотите сделать в конце.