Перенос данных в реальном времени из MySQL в elasticsearch?

Question

У меня есть тонны данных, присутствующих в MySQL в виде разных баз данных и их соответствующих таблиц. Все они связаны друг с другом. Но когда мне приходится анализировать данные, мне приходится создавать разные сценарии, которые объединяют данные, объединяют их и показывают в результате, но это требует много времени и усилий. Мне нравится elasticsearch для его скорости и визуализации данных через kibana, поэтому я решил переместить все мои данные MySQL в реальном времени в elasticsearch, сохраняя данные в MySQL тоже. Но я хочу масштабируемую стратегию и процесс, который переносит эти данные в elasticsearch.

Предлагайте лучший инструмент или методы для выполнения задания.

спасибо.

Answer 1

1. До Elasticsearch 2.x вы можете написать собственный плагин Elasticsearch _river, который вы можете установить в elasticsearch. Вы можете контролировать, как часто вы хотите, чтобы эти данные были помечены вашими сценариями, которые нужно вставить _river (Примечание: это не рекомендуется).

2. Вы также можете использовать ваш любимый инструмент Queuing Message Broker, такие как ActiveMQ, чтобы подтолкнуть ваши данные в elasticsearch

3. Если вы хотите иметь полный контроль, чтобы удовлетворить потребность в реальное время миграции данных вы можете написать простой приложение, которое использует конечную точку elistsearch REST, просто записывая ее через REST. Вы даже можете сделать массовую рассылку

4. использовать любого из elasticsearch инструментов, такие как beat, logstash, которые являются большими на перевозки практически любой типа данных в elasticsearch

Для других альтернатив изменения вашего данных в плоский файл, или если вы хотите поддерживать отношения, см. этот пост here