2013-09-26 3 views
1

Я читал документ, опубликованный в Файловой системе Google, и выяснил, что GFS поддерживает добавление и обновление в произвольных местах существующего файла.Поддерживает ли распределенная файловая система Hadoop любую операцию обновления в качестве файловой системы Google?

Насколько я знаю, HDFS не поддерживает операцию обновления, поскольку он предназначен для однократной записи и чтения многих функций времени. В настоящее время HDFS поддерживает операцию добавления. Они имеют значение dfs.support.append по умолчанию для последних выпусков.

Итак, мой вопрос заключается в том, каким образом мы можем выполнить какую-либо операцию обновления. Я пробовал смотреть, но все, что у меня было, это то, что HDFS не поддерживает операцию обновления.

Надеюсь скоро услышать от вас.

FYI: Я прочитал много сообщений о claudera и других об этом. Я смог найти в некоторых блогах вкладчиками-хаупами, что есть вероятность того, что HDFS поддерживает операцию обновления. Но никто не упоминал и не делал точного заявления о том, как он обновляет работу.

ответ

2

Текущий основной выпуск, Apache Hadoop 2.0 предлагает несколько значительных улучшений HDFS, включая новый append-конвейер. Подробную информацию можно найти на странице append design document. И эти родственные билеты:

HADOOP-1700

HDFS-265

BTW, я попытался Append на 1.x, а также. Он работает, но не безопасен.

+0

Спасибо, что ответили. Итак, есть ли какие-либо билеты или запросы, которые вы знаете, созданные для операции обновления на HDFS, и действительно ли они планируют включить эту операцию в недавние выпуски Hadoop. Потому что, если они это сделают, есть много вещей, которые будут меняться так, как мы сейчас выполняем операции в hadoop. – user1188611

+0

Что вы понимаете под обновлением? Добавляем также обновление. Да, 2.x поставляется с этой функцией. И что-то изменится, если функция обновления будет работоспособна. – Tariq

+0

Под обновлением я имел в виду, что как только я написал что-то в файле, представленном в HDFS, могу ли я перезаписать содержимое, присутствующее в этом файле (добавление wil позволяет добавлять больше контента в конец файла, не перезаписывая содержимое)? Вы говорите, что 2.x позволяет перезаписать содержимое в файле, представленном в hdfs, новым контентом. – user1188611

Смежные вопросы