Инкрементный импорт с использованием Sqoop2

Question

Я хотел бы импортировать данные из таблицы MySQL в HDFS. У меня все настроено, и я могу создать простую работу в sqoop-shell, которая копирует данные. Однако я хотел бы копировать каждый раз только новые записи, но я не уверен, как это сделать. Когда я создаю задание, есть параметр с именем «check column», и у меня есть столбцы, такие как ID или eventTimestamp, которые кажутся подходящими там. Однако в таком случае я должен ввести также «последнее значение». Нужно ли мне управлять этим последним значением самостоятельно и каждый раз создавать новое задание с новым «последним значением»? Почему в таком случае создайте работу, если она используется только один раз, а затем должна быть воссоздана? Невозможно ли Sqoop управлять этим, сохраняя каждый раз новое «последнее значение» и импортируя только новые записи? Более того, почему у меня есть это сообщение об ошибке, когда я вводил что-либо как «последнее значение»: «Размер ввода превышает допустимое значение для этого поля ввода. Максимально допустимый размер -1»?

Answer 1

Что касается проблемы с «последним значением» Я добавил ошибку: https://issues.apache.org/jira/browse/SQOOP-2640 Она имеет фиксированный статус сейчас, так что в релизе 1.99.7 она должна быть тонкой.