Я хочу удалить datanode из моего кластера hadoop, но не хочу потерять свои данные. Есть ли какая-либо методика, чтобы данные, которые есть на узле, который я собираюсь удалить, могут быть реплицированы в расширяющие datanodes?Как удалить datanode из кластеров hadoop без потери данных
Каков коэффициент репликации вашего кластера слияния? Если по умолчанию используется значение 3, вы можете удалить его напрямую, так как данные автоматически реплицируются. этот процесс обычно контролируется узлом имени. Если вы изменили коэффициент репликации кластера на 1, то, если вы удалите узел, данные в нем будут потеряны. Вы не можете воспроизвести его дальше.
Предположим, у меня есть 4 узла, и я хочу удалить 2 из них, это мои данные, которые находятся на удалении datanodes, будут реплицированы в остальные два datanodes автоматически ..... – Sanjeev
у вас есть 4 узла, и вы удалили один , это означает, что осталось 3 узла, и каждый узел содержит одни и те же данные, поскольку коэффициент репликации равен 3. Когда вы удаляете еще один узел, узел имени не может создать слот для третьей реплики. Таким образом, он будет продолжать жаловаться на это, и он будет постоянно пытаться привести их к ожидаемому коэффициенту репликации. В системе HDFS есть параметр, коэффициент репликации, который указывает наменомену, как реплицируется каждый блок. Пока система не сможет реплицировать каждый блок столько раз, сколько задан по коэффициенту репликации, он будет продолжать пытаться это сделать. – Shravanya
, что означает, что я не потеряю свои данные, и еще одно может изменить значение репликации на 2 в hdfs-site.xml после удаления второго узла из 4-х узлов. – Sanjeev