Разница между использованием hdfs: // и пряжей в искры

Question

В чем разница между использованием hdfs: // и пряжей в искровом режиме для сохранения и загрузки файла сохранения в режиме кластера?

Answer 1

С вашего вопроса here, я, видимо, думаю, ваше понимание HDFS и YARN неверно.

YARN - это общая структура планирования заданий, а HDFS - это структура хранилища.

ПРЯЖА в скорлупе ореха имеет мастер (менеджер ресурсов) и работник (управляющий узлом),

Менеджер ресурсов создает контейнеры на рабочий для выполнения работ MapReduce, искровые рабочие места и т.д.

HDFS на у другой стороны есть мастер (Name Node) и работник (Data Node) для сохранения и извлечения файлов.

Вам не нужно YARN для связи с HDFS, это независимый объект.

В производственной среде рабочий стол HDFS (узел данных) и рабочий ящик (диспетчер узлов) установлены на одной машине, так что инфраструктура обработки может потреблять данные с ближайшего локального узла данных (Data Locality).

Использование искры в кластере YARN в режиме кластера означает, что один из рабочих узлов в кластере YARN действует как клиент для подачи искрового задания.

Следовательно, использование hdfs: //, очевидно, принесет пользу работе искры, поскольку исполнитель искры будет считывать данные с ближайшего узла данных.

Конфигурации YARN и HDFS будут считываться с HADOOP_CONF_DIR на клиентском компьютере (может быть вы локальный компьютер в режиме клиента и один из рабочих узлов в режиме кластера).