перезаписать hdfs каталог Sqoop import

Question

Возможно ли автоматическое переписывание каталога HDFS, а не переписывание его каждый раз вручную при импорте Sqoop? (У нас есть какая-либо опция, как «--overWrite», как у нас есть для улья импорта «--hive-перезапись»)

Answer 1

Использования --delete-target-dir

Это удалит <HDFS-target-dir> содержащиеся в команде перед записью данных в этот каталог.

Answer 2

Используйте это: --delete-target-dir

Это будет работать для перезаписи каталога HDFS с помощью sqoop синтаксис:

$ sqoop import --connect jdbc:mysql://localhost/dbname --username username -P --table tablename --delete-target-dir --target-dir '/targetdirectorypath' -m 1 

Например:

$ sqoop import --connect jdbc:mysql://localhost/abc --username root -P --table empsqooptargetdel --delete-target-dir --target-dir '/tmp/sqooptargetdirdelete' -m 1 

Эта команда будет обновить соответствующую директорию HDFS или улей табличные данные с обновленными/свежими данными каждый раз, когда выполняется эта команда.