2016-04-26 3 views
0

Я опытный человек на Java и хотел, чтобы мои руки были грязными с Hadoop. Я прошел через основы и теперь готовлюсь к практическим вещам.Могу ли я создать кластер Hadoop с одной виртуальной машиной?

Я начал с уроков, приведенных в https://developer.yahoo.com/hadoop/tutorial/, для настройки и запуска hadoop на виртуальной машине.

Итак, для создания кластера мне нужно несколько виртуальных машин, работающих параллельно. правильно? И нужно добавить ip-адрес всего в hadoop-site.xml. Или я могу сделать это с помощью единой виртуальной машины?

+0

В идеале да, но для изучения и разработки в вашей локальной машине вы можете использовать [Hortonworks sandbox] (http://hortonworks.com/products/sandbox/), который представляет собой один экземпляр кластера, который можно использовать для использования в хаоп. – SadiRubaiyet

+0

Спасибо, Сади, я попробую. Говоря «Single Cluster Instance», вы имеете в виду один экземпляр hasoop, запущенный в кластере, не так ли? –

+0

На самом деле это экосистема мини-хауопа, поскольку HDFS - это один или два наменоведения и набор данных-данных, на самом деле вы получите хотя бы один узел имени и один узел данных. Попробуйте, также, как только вы почувствуете себя комфортно и почувствуете, что работаете над налогообложением, вы можете попробовать облако AWS или Azure, чтобы получить представление об истинных распределенных вычислениях. Повеселись! – SadiRubaiyet

ответ

0

Нет, вы не можете создать кластер с одной виртуальной машиной. Кластерное значение - это группа машин.

Если у вас хорошая конфигурация хост-компьютера, то вы можете запустить 'n' количество гостевой ОС. В этом случае вы можете создать кластер Hadoop (1 NN, 1 SNN, 1 DN)

Если вы хотите, вы можете установить Pseudo mode (все службы запускаются на одном компьютере) Hadoop, который работает как тестовая машина

+0

Я действительно понимаю, что кластер группа машин. Мой вопрос в том, можно ли настроить кластер без группы машин (т. Е. С помощью VM). –

0

Вы можете настроить многоузловой кластер с помощью любого виртуального окна, такого как Oracle VM. Создайте 5 узлов (1-NN, 1-SNN, 3-DN). Назначьте каждому узлу свой IP-адрес и настройте все файлы конфигурации на всех узлах. Есть 2 файла - (Masters и slave). В узле NN укажите IP-адрес SNN в главном файле и все IP-адрес 3 DN в подчиненных файлах. Также настройте ssh-соединение между всеми узлами, используя открытые ключи.

+0

Можете ли вы рассказать мне, как я могу назначить IP для каждого узла? Или это что-то автоматическое, присвоенное hadoop? –

Смежные вопросы