2
файл на hdfs с 3 репликациями будет храниться на 3 хостах?
файл на hdfs с 3 репликациями будет храниться на 3 хостах? Или хранить не только 3 хоста?
A
ответ
2
Файл с коэффициентом репликации 3 будет иметь каждый из его блоков, которые все это составляют, хранятся три раза (HDFS хранит блоки, а не файлы). Если у вас есть 3 узла (как в верхней части рисунка), каждый блок будет храниться один раз в каждом узле. Если у вас есть 1 узел, все блоки будут сохранены в одном узле (один раз, как прокомментировал Brandon.bell). Если у вас есть 5 узлов, и каждый файл использует более одного блока (как в нижней части рисунка), то да, будет использоваться более 3 узлов.
Причина - отказоустойчивость. Предполагая, что любые два хоста становятся недоступными (в нижнем рисунке), вы все равно можете получить все блоки, которые составляют ваши файлы. Например, если хост4 и хост5 выходят из строя, вы все равно можете извлечь блок1 из host1 и block2 из host2.
Для получения дополнительной информации см. this documentation. Я также нашел красивый комикс о репликации хаопов, в this post.
Смежные вопросы
- 1. Увеличение на 3 на каждые 3 секунды
- 2. Я хочу взять файл syslog 3 на 3 строки
- 3. Когда будет llblgenpro 3 поддержка NHibernate 3
- 4. Требует ли HDFS 3 раза пространства данных?
- 5. Где будет храниться jquery?
- 6. Система вкладок 3 на 3 элемента
- 7. Spring 3 Свойства Файл на контроллер
- 8. Планирование cron на нескольких хостах
- 9. Проверка на 3 экземпляра
- 10. Файл, который отвечает на isatty (3)
- 11. Сбор фактов на всех хостах
- 12. Переместить файл с локального на HDFS
- 13. Прочтите файл на HDFS, который начинается с
- 14. Скопируйте файл с локального на HDFS
- 15. Где будет храниться переменная const?
- 16. Файловые блоки на HDFS
- 17. добавить элемент массива 3 на 3
- 18. Определение матрицы 3 на 3 в Isabelle
- 19. разделите изображение на 3 * 3 блока
- 20. Python 3: разделение на 3-й разделитель
- 21. 3 на 3 матрица Sudoku stye
- 22. после загрузки .zip удаленно, где будет храниться на iphone
- 23. Symfony 2 на виртуальных хостах
- 24. Py2Exe не будет успешно скомпилировать модуль pygame.font на Python 3
- 25. Как разместить изображения на таблице 3 на 3?
- 26. Сжатый файл с zip-алгоритмом в Java на нескольких хостах
- 27. Запрос на 3 таблицы
- 28. Регистрация на 3 таблицы
- 29. Actionscript 3 не будет работать с видеоклипами
- 30. wxpython 3 на окнах
Это право, за исключением случаев, когда у вас есть только один узел, блок не будет храниться три раза на этом хосте (если вы не используете несколько экземпляров datanode). –
@ brandon.bell это правильно. Благодаря! Я обновил свой ответ. – vefthym
Если у меня есть более 5 узлов, я хочу, чтобы он хранился на 3 узлах. Затем я быстро прочитаю файл на этих трех узлах (потому что не нужно получать блоки с другого узла). Но как хранить файл на 3 узлах? – cola