Почему Hadoop использует namenode и datanode?

Question

Мы знаем, что серверы, используемые для большой обработки данных, должны быть толерантными с аппаратным сбоем. Я имею в виду, если бы у нас было 3 сервера (A, B, C), и внезапно сервер B был вниз, A и C могли заменить его. Но в hadoop мы знаем hadoop, используя namenode и datanode, а именно, когда namenode не работает, мы больше не можем обрабатывать данные, и это звучит из-за отсутствия толерантности с аппаратным сбоем.

Есть ли какая-либо причина в этой конструкции арки хаупа?

Answer 1

Вопрос, о котором вы упоминали, известен как sinlgle point of failure, который существует в более старых версиях hadoop.

Попробуйте более поздние версии hadoop, такие как 2.x.x. Hadoop от версии 2.0.0 избегает этой одной точки отказа, назначив два наменования, а именно active и standby namenodes. Когда активный namenode выходит из строя из-за проблем с оборудованием или питанием, резервный namenode будет действовать как активный namenode.

Проверьте эту ссылку: Hadoop High Availability для получения дополнительной информации.