Ошибка: sqoop для добавления записей в hdfs

Question

Мой сценарий: я получаю ежедневно 100 записей в hdfs через sqoop в определенное время. Но вчера я получил всего 50 записей за это время, сегодня мне нужно получить 50 + 100 записей в hdfs через sqoop за это конкретное время. Пожалуйста, помогите мне. Заранее спасибо.

Answer 1

Чтобы справиться с таким сценарием, вам нужно добавить время, когда это необходимо. Не имеет значения, каково количество записей.

Вы можете использовать что-то вроде этого в команде импорта sqoop использование --query параметра:

sqoop import \ 
    --connect jdbc:mysql://localhost:3306/sqoop \ 
    --username sqoop \ 
    --password sqoop \ 
    --query 'SELECT * from records 
        WHERE recordTime BETWEEN ('<datetime>' AND NOW()) \ 
    --target-dir /user/hadoop/records 

Вам нужно изменить где состояние согласно вашей схеме таблицы.

Для получения более подробной информации, пожалуйста, обратитесь к Sqoop Documentation.

Answer 2

sqoop import --connect jdbc: mysql: // localhost: 3306/your_mysql_databasename --username root -P --query 'SELECT * из записей WHERE recordTime BETWEEN (' 'AND NOW()) --target-dir/где вы хотите хранить данные

и сделать, когда sqoop запросит пароль, введите ваш пароль MySQL, например. (мой PWD является корень)