Тестирование модулей Sqoop Applications

Question

Я использую SQOOP в качестве технологии для загрузки большого количества данных из mysql в HDFS. иногда мне нужно написать некоторые специальные запросы в sqoop для загрузки данных.

Одна из проблем, которые я испытываю при работе с sqoop, заключается в том, что она практически не тестируется. Для модульного тестирования sqoop нет никакого руководства или технологии.

Если кто-то использует sqoop для интеграции данных. Как вы тестируете свои приложения sqoop?

Answer 1

Afaif как сейчас нет рамок модульного тестирования для sqoop, вы можете следовать ниже подход

1) планировать работу sqoop Eval, который будет иметь исходный запрос для отображения вывода исходной таблицы.

$ sqoop eval --connect jdbc:mysql://db.example.com/corp \ 
     --query "SELECT * FROM employees LIMIT 10" 

2) Запустить соответствующий улей запрос или HDFS оболочки команду, чтобы получить данные, или после того, как рассчитывать sqoop завершается.

Answer 2

Если вы не используете запросы свободной формы через --query, вы можете использовать встроенную опцию --validate, чтобы соответствовать количеству записей в исходной таблице и HDFS. К сожалению, он не будет работать на больших таблицах в MS SQL (количество записей> int capacity), потому что Sqoop не знает о count_big().