Elasticsearch на Hadoop - Должны ли узлы ES ​​размещаться вместе с Hadoop DataNodes?

Question

Из Elasticsearch для Hadoop documentation:

Всякий раз, когда это возможно, elasticsearch-Hadoop акций кластера информация Elasticsearch с Hadoop для облегчения данных совместного размещения. В практике это означает, что всякий раз, когда данные считываются из Elasticsearch, IP-адреса исходных узлов передаются в Hadoop для оптимизации выполнения задачи. Если требуется совместное размещение/возможное размещение хостов Elasticearch и кластеров Hadoop в одной и той же стойке обеспечит значительную экономию сети .

Означает ли это, что в идеале узел Elasticsearch должен быть размещен с каждым DataNode в кластере Hadoop, или я неправильно понял это?

Answer 1

Вы можете найти эту совместную презентацию Elasticsearch и Hortonworks полезным при ответе на этот вопрос:

http://www.slideshare.net/hortonworks/hortonworks-elastic-searchfinal

Вы обратите внимание, что на слайдах 33 и 34 они показывают несколько архитектур - один, где узлы ES ​​являются расположенных на узлах Hadoop, а другой - у вас есть отдельные кластеры. Первый вариант явно дает вам лучшее совместное размещение данных, что очень важно для управления производительностью Hadoop. Второй подход позволяет настраивать каждый отдельно и масштабировать их независимо.

Я не знаю, что вы можете сказать, что один подход лучше, чем другой, поскольку есть явно компромиссы. Работа на одном узле явно сводит к минимуму задержку доступа к данным за счет потери изоляции и способности настраивать каждый кластер отдельно.