Создайте hdfs при использовании встроенной искровой сборки

Я работаю с Windows и пытаюсь настроить Spark.Создайте hdfs при использовании встроенной искровой сборки

Ранее я установил Hadoop в дополнение к Spark, отредактировал файлы конфигурации, запустил форматирование namenode-format и пропустил мы.

Я сейчас пытаюсь достичь того же, используя прилагаемую версию Спарк, который предварительно построен с Hadoop - искровой-1.6.1-бен-hadoop2.6.tgz

До сих пор это было много более чистый, более простой процесс, однако у меня больше нет доступа к команде, которая создает hdfs, файлы конфигурации для hdfs больше не присутствуют, и у меня нет «hadoop» в любой папке bin.

В установке искры не было папки Hadoop, я создал ее для цели winutils.exe.

Похоже, что я что-то пропустил. Встраиваемые версии искры не включают hadoop? Является ли эта функция отсутствующей в этом варианте или есть что-то еще, что я пропускаю?

Спасибо за любую помощь.

источник

2016-04-12 null

Spark не был создан с помощью Hadoop, он предварительно создан с клиентскими библиотеками для доступа к Hadoop. Вы должны установить Hadoop отдельно от Spark .. – mgaido

@ mark91 - Я думаю, что это бит, который мне не хватало тогда :) спасибо – null

@ mark91 надеюсь, что вы не против, но могли бы вы разработать некоторые из них и поместить его в ответ, пожалуйста ? Когда вы говорите «доступ к хаопу», вы имеете в виду в искровом приложении или ...? – null

Говоря, что Spark построен с Hadoop, подразумевается, что Spark построен с зависимостями Hadoop, то есть с клиентами для доступа к Hadoop (или HDFS, если быть более точным).

Таким образом, если вы используете версию Spark, которая построена для Hadoop 2.6, вы сможете получить доступ к файловой системе HDFS кластера с версией 2.6 Hadoop через Spark.

Это не значит, что Hadoop является частью пакета и загружает его Hadoop. Вы должны установить Hadoop отдельно.

Если вы загружаете версию Spark без поддержки Hadoop, вам нужно будет включить библиотеки клиентов Hadoop во все приложения, которые вы пишете, которые должны получить доступ к HDFS (например, с помощью textFile).

источник

2016-04-12 13:13:13 mgaido

Я также использую ту же искру в моих окнах 10. Что я сделал, создайте каталог C: \ winutils \ bin и поместите здесь winutils.exe. Затем создайте переменную HADOOP_HOME = C: \ winutils. Если вы установили все переменные env и переменные PATH, такие как SPARK_HOME, HADOOP_HOME и т. Д., То он должен работать.

источник

2016-04-12 12:56:50 ankitbeohar90

Создайте hdfs при использовании встроенной искровой сборки

ответ

Смежные вопросы