ли hortan песочницу можно использовать как единый узел Hadoop кластер

Question

мне нравится изучать о настройке многоузлового Hadoop и установках, ссылаясь на выше учебник я понимаю, что единая среда узла кластера может быть использована в качестве узла для многоузлового кластера

http://bigdatahandler.com/hadoop-hdfs/hadoop-multi-node-cluster-setup/

В настоящее время я изучаю Hadoop с помощью песочницы Horton, можно ли использовать систему песочницы в качестве среды с одним узлом?

Если нет, в чем разница между песочницей и традиционной установкой Hadoop кластера

Answer 1

песочницей изображениями (от Hortonworks и Cloudera) предоставляет пользователь предварительно сконфигурированные среды разработки со всеми обычными средствами уже имеющимися и установленными (свиньи, улья и т. д.). Поскольку изображение представляет собой единую «систему», оно настроено таким образом, что кластер hadoop является одноузловым: то есть все - HDFS, Hadoop map-reduce и т. Д. - является локальным для этого образа. Это огромная выгода, так как любой, кто настроил кластер hadoop, скажет вам! Это позволяет вам работать с очень небольшими эксплуатационными расходами.

Однако эти песочницы не представляют собой реалистичное поведение кластера, так как у вас есть только один узел. Но есть и другие возможности - такие инструменты, как Vagrant и Docker - это позволит вам сделать это (я сам не пробовал).

Большая ссылка обработчика данных, по-видимому, связана с объединением нескольких из этих автономных, по сути, одноузловых «кластеров», так что у вас есть что-то более реалистичное. Но я бы предпочел настроить это так, чтобы YARN, Zookeeper и другие сервисы не дублировались, но это не было ничтожным вызовом.