Различные способы установки hadoop

Я новичок в hadoop и пытаюсь установить его на свою локальную машину. Я вижу, что существует множество способов установки hadoop, таких как установка vmware Horton, и установка hasoop поверх этого или установка виртуальной коробки Oracle, Cloudera, а затем Hadoop. Мой вопрос в том, что обязательно установить виртуальную коробку для запуска Hadoop? Иными словами, hasoop работает только на ОС Linux, например, Ubuntu, Redhat и т. Д., Или я могу установить hadoop непосредственно в Windows (без виртуальной коробки ant)?Различные способы установки hadoop

источник

2015-06-20 Sharath

Hadoop работает в Unix и Windows. Linux - единственная поддерживаемая производственная платформа, но другие возможности Unix (включая Mac OS X) можно использовать для запуска Hadoop для разработки. Windows поддерживается только в качестве платформы разработки и дополнительно требует запуска Cygwin.

Если у вас есть ОС Linux, вы можете напрямую установить Hadoop и начать работать. Если у вас есть ОС Windows и вы не знаете Linux (но в конечном итоге вам нужно учиться), вы используете виртуальную коробку или vmware, чтобы на вашем компьютере Windows была запущена виртуальная машина Linux.

Использование работ Horton или распределение Cloudera, является вашим choice и поставляется на вершине Hadoop.

Кроме того, если у вас есть установка кластера на какой-либо удаленной машине, вам просто нужно замазку, чтобы попробовать все функции hadoop :) из оболочки.

источник

2015-06-21 01:11:20 Ramzy

Спасибо за ответ. Я смущен другим вопросом. Скажем, если я установил кластер одиночных узлов Hadoop (моя локальная машина Windows) без установки каких-либо vmware или virtualbox. Как hadoop хранит данные с использованием архитектуры HDFS, настраивается ли моя ОС при установке hadoop поверх окон? Я читал, что размер блока в hadoop составляет 64 МБ против 4 КБ в традиционной ОС Windows. Если я запустил hadoop на своей локальной машине, как работает концепция параллельной обработки, которая является ключевым понятием/решением для больших данных. – Sharath

Ну, 64 МБ - это способ обработки хаопа. ОС имеет свои размеры блоков, как вы упомянули, - 4k. Несмотря на то, что в конечном итоге данные хранятся в соответствии с дизайном ОС, Hadoop позаботится о разделении на куски 64, а затем на основе собственного алгоритма. Это [link1] (http://stackoverflow.com/questions/19473772/data-block-size-in-hdfs-why-64mb) поможет вам больше – Ramzy

Virtualbox или vmware является не является обязательным для установки/настройки hadoop. Как правило, люди используют Virtualbox для создания нескольких виртуальных машин и настройки кластера для работы в эксперименте.

Hadoop запускается на ОС, кроме Redhat/ubuntu, например. Mac OS, Windows.

источник

2015-06-20 21:08:11 Shubhangi

Спасибо за ответ. Я смущен другим вопросом. Скажем, если я установил кластер одиночных узлов Hadoop (моя локальная машина Windows) без установки каких-либо vmware или virtualbox. Как hadoop хранит данные с использованием архитектуры HDFS, настраивается ли моя ОС при установке hadoop поверх окон? Я читал, что размер блока в hadoop составляет 64 МБ против 4 КБ и традиционной ОС Windows. Если я запустил hadoop на своей локальной машине, как работает концепция параллельной обработки, которая является ключевым понятием/решением для Big Data. – Sharath

Процессы/демоны Hadoop - это JVM (т. Е. Java-процессы), которые являются ничем иным, как приложением, работающим поверх операционной системы. Установка hadoop не изменит вашу ОС. В HDFS мы можем установить размер блока, подходящий для приложения (по умолчанию 64M). В Hadoop базовая единица обработки данных - это блок HDFS (не блоки OS). – Shubhangi

Основная концепция hadoop. Параллельная обработка может быть реализована специально в многоузловом кластере, где данные хранятся на нескольких машинах/узлах и обрабатываются @ времени. Следовательно, параллельная обработка – Shubhangi

Различные способы установки hadoop

ответ

Смежные вопросы