Я вижу, что Hive и Elasticsearch почти эквивалентны, за исключением того, что Elasticsearch поддерживает запросы в реальном времени. Кроме того, Elasticsearch может работать независимо для хранения и анализа данных. Итак, почему люди используют Hive и Elasticsearch на Hadoop?Elasticsearch и Hive работают вместе
Hive и Elasticsearch - два действительно разных инструмента.
Hive - это переводчик Java в Hadoop Java для взаимодействия практически с любым источником данных с использованием SQL (включая elasticsearch) с использованием SerDe. Hive также может хранить данные с использованием HDFS. Улей действительно хорош в пакетной обработке.
Elasticsearch - это распределенная ограненная поисковая система, очень хорошая возможность быстро получать данные в миллионах документов. Его также можно использовать для выполнения простых вычислений с использованием граней.
Hive и ES дополняют друг друга, люди используют Hive для обработки данных, а ES - для передачи данных/данных.
Не могли бы вы дать конкретный прецедент, который объединял бы Hive и ES для усиления друг друга? Интересно, почему мы просто не используем ES для извлечения данных, больших данных? Спасибо. – VAK5d6
Представьте ситуацию, когда необходимо объединить данные из нескольких источников (продажи от ERP, клиенты из CRM). С Hadoop и Hive я храню данные, обрабатываю их (присоединяюсь к ним) и отправляю их в ES. С помощью ES я создаю приложение, в котором я могу суммировать все продажи клиентов. – jbaptiste
ES очень хорошо хранит и извлекает данные, но не может присоединиться к дате из двух разных таблиц. – jbaptiste