Конфигурация hadoop в локальном режиме

Question

Привет, я успешно установил hadoop в псевдораспределенном режиме на виртуальной машине. Я пишу код в eclipse и экспортирую как файл jar в кластер hadoop, а затем отлаживаю там. Теперь только для обучения я пытался установить hadoop в локальном режиме конфигурации на моем компьютере Windows. Делая это, я смогу выполнить тестирование, не пройдя все проблемы с созданием файлов jar, экспортированием и проведением тестирования на кластере hadoop.

Мой вопрос: может ли кто-нибудь помочь мне в понимании того, как hadoop будет работать в локальном режиме (hdfs vs local file system) в Windows и как я могу настроить hadoop на локальной машине на машине Windows (какие шаги я могу выполнить).

Я пробовал следить за различными блогами для того, чтобы делать то же самое, но не мог понять многое из них. Итак, разместите здесь то же самое.

Сообщите мне, если требуется какая-либо другая информация. Заранее спасибо.

Answer 1

К сожалению, вы не можете использовать hadoop на окнах от get go - однако, вы можете использовать Cygwin для достижения эффективности того же самого.

Мне удалось настроить локальный режим и распределенный режим, запущенный непосредственно из cygwin, однако он не смог получить псевдораспределение, чтобы работать хорошо из-за различных проблем преобразования cygpath между стилями пути Unix и Windows.

Однако на практике я все еще делаю банки и отправляю их прямо в кластер с использованием rsync, так как он намного быстрее, когда ваш проект достигает определенной величины для тестирования и удаленной отладки, можно сделать из затмения на окнах до linux.