I read that всякий раз, когда клиенту необходимо создать файл в HDFS (распределенная файловая система Hadoop), файл клиента должен быть 64 МБ. Это правда?Как загрузить файл в HDFS, который составляет менее 64 МБ? Можем ли мы загрузить файл, который будет использоваться только для справки для обработки другого файла, и он должен быть доступен для всех datanodes?Hadoop. О создании файла в HDFS
Я читал, что всякий раз, когда клиенту необходимо создать файл в HDFS (распределенная файловая система Hadoop), файл клиента должен быть 64 МБ.
Не могли бы вы предоставить ссылку на то же самое? Файл любого размера можно поместить в HDFS. Файл разделен на блоки 64 МБ (по умолчанию) и сохраняется на разных узлах данных в кластере.
Можем ли мы загрузить файл, который будет использоваться только для справки для обработки другого файла, и он должен быть доступен для всех datanodes?
Не имеет значения, находится ли блок или файл на определенном узле данных или на всех узлах данных. Узлы данных могут извлекать данные друг от друга, если они являются частью кластера.
Подумайте о HDFS как о очень большом жестком диске и напишите код для чтения/записи данных из HDFS. Hadoop позаботится о внутренних элементах, таких как «чтение из» или «запись на несколько узлов данных», если это необходимо.
Предлагает прочитать следующее: 123 на HDFS, особенно на втором, который является комическим на HDFS.
Nice comic; +1 только для этого :) –
Чрезвычайно приятный комикс, я бы сказал. И весело :) –
большое спасибо ... Я просто читал где-то всякий раз, когда клиент заканчивает 64 МБ, а только он/она пишет в HDFS .. у меня есть еще вопросы по HDFS, вы мне поможете? –