Я сконфигурировал Hadoop, используя кластер с одним узлом, используя Eclipse. И у меня много текстовых файлов, которые нужно разобрать. Eclipse обеспечивает прямую загрузку файлов в HDFS, но iam не может найти, где именно эти файлы хранятся на моем диске.Hadoop HDFS Место хранения
То, что я ищу, - это место, где настроено HDFS. Чтобы я мог напрямую вставлять текстовые файлы в эту папку.
Этот объект устанавливается в поле dfs.datanode.data.dir, по умолчанию file://${hadoop.tmp.dir}/dfs/data (см. Подробности here).
Однако вы не можете просто помещать туда файлы, поскольку HDFS не будет автоматически открывать их. Вставка файла HDFS включает операции метаданных в namenode. Это не так просто, как копирование файла. Файл необходимо разделить на блоки, а соответствующие структуры данных метаданных необходимо обновить в узле имени. Вы должны использовать интерфейс, который Eclipse предоставляет вам для загрузки файлов в HDFS, или вы можете сделать это в командной строке (используя hdfs dfs -put).
Посмотрите на man-страницу плагина, возможно, это даст вам некоторую информацию о том, как она берет локальные файлы и помещает их в HDFS. –
Iam в настоящее время новичок в Hadoop, так что, пожалуйста, скажите мне, как смотреть в man-страницу плагина? – Surjeet
Я не использовал Eclipse для работы над Hadoop. Как вы его настроили? Я предположил, что вы использовали плагин (может быть, плохой догадкой). –