Я хотел знать, кто создаст идентификаторы блоков для блоков в hadoop либо клиенте HDFS, либо узле Name. Пожалуйста, дайте мне знать., кто создаст идентификаторы блоков для блоков в hadoop?
1
A
ответ
1
NameNode выделяет идентификатор блока и передает его клиенту. Затем клиент использует этот идентификатор блока при общении с DataNode для записи данных в блок.
Apache JIRA HDFS-4645 документирует текущий проект для выделения идентификаторов блоков. Он использует монотонно возрастающий идентификатор, начиная с определенной константы. Если вам интересен код для этого, обратитесь к классам BlockIdManager и SequentialBlockIdGenerator в кодовой базе Apache Hadoop.
Смежные вопросы
- 1. Концепция блоков Hadoop в HDFS
- 2. Просмотр количества блоков для файла в hadoop
- 3. Hadoop - методы кэширования блоков данных
- 4. Блоков
- 5. Сохранять циклы для блоков внутри блоков
- 6. Дождитесь завершения блоков асинхронных блоков
- 7. Информация о блокировании блоков данных Hadoop
- 8. рендеринг блоков и дочерних блоков в теме
- 9. Сроки для блоков Qualtrics
- 10. Доходность для нескольких блоков
- 11. Трансформация: шкала блоков блоков внизу ниже
- 12. Отзывчивый дизайн для блоков
- 13. Создать большой куб блоков
- 14. Должен ли я использовать идентификаторы блоков («конец;») в моем коде?
- 15. Выделение блоков
- 16. Использование блоков в C
- 17. Объединение блоков в Ruby
- 18. Игра для программирования блоков реализации
- 19. Скрипт для удаления многострочных блоков
- 20. граф блоков в серии
- 21. несколько блоков в шаблоне
- 22. Извлечение блоков в OpenCV
- 23. Переменные в content_tag блоков
- 24. Java случайный цвет для блоков
- 25. Вложение блоков в Auto CAD путем доступа к библиотеке блоков
- 26. Стек блоков в Prolog
- 27. Особенности HoG только для блоков
- 28. Как изменить представление блоков блоков с контроллера в CakePHP 3?
- 29. Вид блоков в Python
- 30. Пара блоков в каждом?
Пожалуйста, исправьте меня, если я ошибаюсь. По моему пониманию клиент разделит файл на блоки. Клиент запрашивает имя узла для получения доступности узлов данных. Затем записывает эти блоки в узлы данных. Как только процесс записи будет выполнен. Узлы данных будут предоставлять информацию о блоке для узла Name. Затем только метаданные обновления имени узла. В этом процессе, когда идентификатор блока генерируется, поскольку клиентский процесс фактически разделяет блоки. Имя узла узла назначает идентификаторы блоков для блоков, если узел имени не обновляется узлами данных , –
Вы правы, что клиент решает, когда нужно выделить новый блок для файла, но NameNode всегда является центральной точкой для назначения нового идентификатора блока. Клиент делает RPC-вызов для NameNode для выделения блока. Затем NameNode генерирует идентификатор блока, сохраняет его в метаданных и отправляет этот идентификатор блока обратно клиенту. Затем клиент использует этот идентификатор блока при общении с DataNode. –
Вы имеете в виду, когда клиент запрашивает узел имени для распределения узлов данных для блока, он отправляет идентификатор блока для этого блока клиенту? –