Размер диска nadenode Hadoop

Question

Есть ли какие-либо предложения относительно размера жесткого диска на физическом устройстве namenode? Конечно, он не хранит данные из HDFS, например, datanode, но на что я должен полагаться при создании кластера?

Answer 1

Физическое дисковое пространство в NameNode действительно не имеет значения, если вы не запустите Datanode на том же узле. Однако очень важно иметь пространство памяти (ОЗУ), выделенное для NameNode. Это связано с тем, что NameNode хранит все метаданные HDFS (выделения блоков, блокировки и т. Д.) В памяти. Если достаточное количество памяти не выделено, у NameNode может закончиться нехватка памяти и сбой.

Answer 2

Возможно, вам понадобится пространство для фактического хранения FSImage NameNode, файла редактирования и других соответствующих файлов.

На самом деле рекомендуется настроить NameNode для использования нескольких каталогов (одного локального и другого монтирования NFS), чтобы сохранить несколько копий метаданных файловой системы. Таким образом, пока каталоги находятся на отдельных дисках, сбой одного диска не повредит метаданные.

Для получения более подробной информации см. this link.

Answer 3

Мы слышали от Cloudera, что они рекомендуют узлам с именами иметь более быстрые диски - комбинацию SSD и 10kRPM SAS дисков по сравнению с типичными дисками SAT 2TB, 7200K SAS. Является ли это разумным или чрезмерным, поскольку все, что я читал, говорит о том, что вам действительно не нужно дорогое высокоскоростное хранилище для Hadoop.