В чем разница между грид-вычислениями и HDFS (распределенная файловая система Hadoop)?

Question

Можно ли объяснить основные различия между HDFS и Grid Computing?

Answer 1

Распределенная файловая система Hadoop (HDFS) - это распределенная файловая система, предназначенная для работы на товарном оборудовании. Он имеет много общего с существующими распределенными файловыми системами. Однако отличия от других распределенных файловых систем значительны. HDFS отличается высокой отказоустойчивостью и предназначен для развертывания на недорогом оборудовании. HDFS обеспечивает высокопроизводительный доступ к данным приложения и подходит для приложений с большими наборами данных. HDFS смягчает несколько требований POSIX, чтобы обеспечить потоковой доступ к данным файловой системы.

но ....

Сетка вычислений является совокупность компьютерных ресурсов из разных мест, чтобы достичь общей цели. Сетку можно рассматривать как распределенную систему с неинтерактивными рабочими нагрузками, которые включают большое количество файлов. Грид-вычисления отличаются от обычных высокопроизводительных вычислительных систем, таких как кластерные вычисления, в этих сетчатых компьютерах каждый узел настроен на выполнение другой задачи/приложения. Грид-компьютеры также имеют тенденцию быть более неоднородными и географически распределенными (таким образом, физически не связаны), чем кластерные компьютеры. Хотя одна сетка может быть выделена для конкретного приложения, обычно сетка используется для различных целей. Гриды часто создаются с использованием библиотек программного обеспечения промежуточного программного обеспечения общего назначения.

Я думаю, что hdfs не имеет отношения к грид-вычислениям. или, возможно, он используется в супер виртуальных компьютеров в сетке

Answer 2

Как Hadoop отличается от других распределенных систем

• шкала из
• отработанная технология
• низкая стоимость
• используется крупными гигантами

Answer 3

Я думаю, вы должны заменить HDFS с Hadoop на свой вопрос.

Hadoop - это структура, которая позволяет распределенную обработку больших наборов данных через кластеры товарных компьютеров с использованием простой модели программирования - Map Reduce framework на основе YARN (Еще один переговорщик ресурсов).

HDFS - это файловая система, предназначенная для хранения очень больших файлов с шаблонами доступа к потоковым данным, работающими кластерами на товарном оборудовании.

Подход Grid Computing основан на распределении работы через кластер машин, которые обращаются к общей файловой системе, размещенной в сети хранения данных (SAN). Это хорошо работает для преимущественно интенсивных вычислений, но становится проблемой, когда узлам приходится обращаться к большим объемам данных.

HDFS - это всего лишь файловая система. Поскольку вы сравниваете обработку данных, вам нужно сравнить Grid Computing с Hadoop Map Reduce (YARN) вместо HDFS.

Hadoop пытается сопоставить данные с вычислительными узлами, поэтому доступ к данным происходит быстро, поскольку он является локальным. Эта функция, известная как локальность данных, лежит в основе обработки данных в Hadoop и является причиной ее хорошей производительности.

Вы можете обратиться к Hadoop, The Definitive guide (4th edition), чтобы лучше понять концепции.