Elasticsearch и Splunk connection через Hadoop

В настоящее время я экспериментирую с компанией, у которой есть данные журнала в elasticsearch. (В настоящее время они используют весь стек ELK).Elasticsearch и Splunk connection через Hadoop

В Splunk есть плагин под названием Hunk, который позволяет запрашивать данные HDFS/Hadoop с интерфейса Splunk. Я смог добиться этого.

Мой вопрос: есть ли способ использовать es-hadoop, чтобы каким-то образом «соединить» эти два вместе? Что, когда Hunk запрашивает мои hdf-файлы, это также приведет к потере данных Elasticsearch?

(Они компания хочет видеть, если его возможно использовать Splunk без необходимости дублировать данные)

Спасибо.

источник

2016-07-31 CeePlusPlus

Вы заглянули в логсташ? Хотя, зачем использовать Splunk? –

Они используют весь стек ELK, я уточню это. Они хотят экспериментировать с Splunk, но без дублирования данных. – CeePlusPlus

Gotcha. К сожалению, я считаю, что Hunk строго ищет данные HDFS. Разъем между ES и Hadoop - это только один путь от HDFS до ES –

Splunk устарел HUNK в 2016 году и выпустил Hadoop Connect. Теперь вы можете читать, писать, исследовать и экспортировать из HDFS. Нет платы за лицензию Splunk, связанной с чтением, записью или изучением кластеров HDFS. Таким образом, вы можете работать с данными из HDFS для создания статистических решений без взимания платы. Ставки Splunk, которые вы хотите поместить обобщенные данные, а также уточненные наборы данных в Splunk, чтобы сделать их более доступными для корпоративных аудиторий. https://www.splunk.com/blog/2012/12/20/connecting-splunk-and-hadoop/

источник

2017-04-06 18:36:26

Elasticsearch и Splunk connection через Hadoop

ответ

Смежные вопросы