Инкрементные обновления в Hive

Question

У меня есть исходная таблица MySql. Я должен экспортировать дату в Hive для аналитической цели. Первоначально, когда размер данных в MySQL был менее полным, экспорт данных Mysql в Hive не был проблемой с использованием Sqoop. Теперь, когда мой размер данных вырос, как я могу получить инкрементное обновление данных MySql для улья?

Answer 1

Вы можете использовать sqoop для дополнительных обновлений, Sqoop документация хорошо, вот ссылка https://sqoop.apache.org/docs/1.4.2/SqoopUserGuide.html#_incremental_imports