Как перезаписать выходной каталог в Hadoop?

Я читаю json-файл, и я хочу изменить некоторые изменения в json-файле. После модификации я хотел бы перезаписать в том же json-файле. Когда я это делаю, MapReduce выдает исключение как «FileAlreadyExists». Пожалуйста, дайте мне решение перезаписать в том же файле. Мне не интересно удалять файл и создавать новый файл. Я просто хочу перезаписать.Как перезаписать выходной каталог в Hadoop?

источник

2015-09-08 Vignesh

HDFS не позволяет записывать в существующие файлы. Сначала необходимо удалить файлы и перезаписать их. Обновление на месте в файле не поддерживается в HDFS. HDFS была разработана для обеспечения высокого уровня чтения существующих данных. Таким образом, функция, которую вы ожидаете, недоступна в HDFS.

источник

2015-09-08 05:54:44 YoungHobbit

Спасибо за ответ, Абхишек. Согласно моему требованию к проекту, я должен прочитать json-файл в S3Bucket (у него почти 5000 файлов json), и я хочу перезаписать в том же файле. Есть ли способ достичь этой задачи? – Vignesh

Проверьте [this] (http://stackoverflow.com/questions/9517198/can-i-update-an-existing-amazon-s3-object). Могу вам помочь. Я не знаю об Amazon S3. Я дал свой ответ в контексте Hadoop (MapReduce и HDFS). – YoungHobbit

Я предлагаю вам правильно рассказать о своем вопросе, что именно вы ищете и какова среда, которую вы используете. – YoungHobbit

Как перезаписать выходной каталог в Hadoop?

ответ

Смежные вопросы