Входы данных в конвейер поступают из базы данных или веб-журнала. Pipeline обрабатывает его и помещает в HDFS и перемещает данные в базу данных NoSQL. Мониторинговая система будет контролировать эту цель до конца.Как настроить систему мониторинга в конвейере данных в кластере Hadoop?
Вы можете думать об использовании стека ELK (ElasticSearch, Logstash, Kibana). На каждом узле, проглатывании, обработке и вставке в db, посмотрите, можете ли вы добавить журналы о каждом файле/записи, которые вы собираетесь обрабатывать.
Вы можете развернуть логсташ на каждом узле и написать логику синтаксического анализа для того же самого, записать их в ElasticSearch и визуализировать те, которые используют Kibana.
Вы также можете подумать об использовании плагина Watcher от Elastic.co для генерации предупреждений в случае ошибок.
Ниже приведены некоторые ссылки для вас, чтобы начать работу.