Sqoop import без разделения на

Question

Я пытаюсь импортировать таблицу Teradata, которая имеет составной ключ в качестве первичного ключа. Следовательно, установка --num mapper 1 и запуск его без параметра --split-by. Однако я столкнулся с следующим вопросом. Пожалуйста помоги.

Error: java.io.IOException: SQLException in nextKeyValue 
    at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277) 
    at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:556) 
    at org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextImpl.java:80) 
    at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.nextKeyValue(WrappedMapper.java:91) 
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145) 
    at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64) 
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787) 
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) 
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:422) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1709) 
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162) 
Caused by: com.teradata.jdbc.jdbc_4.util.JDBCException: [Teradata Database] [TeraJDBC 14.00.00.01] [Error 3707] [SQLState 42000] Syntax error, expected something like a name or a Unicode delimited identifier between the word 'Record' and the 'Start' keyword. 
    at com.teradata.jdbc.jdbc_4.util.ErrorFactory.makeDatabaseSQLException(ErrorFactory.java:307) 
    at com.teradata.jdbc.jdbc_4.statemachine.ReceiveInitSubState.action(ReceiveInitSubState.java:102) 
    at com.teradata.jdbc.jdbc_4.statemachine.StatementReceiveState.subStateMachine(StatementReceiveState.java:298) 
    at com.teradata.jdbc.jdbc_4.statemachine.StatementReceiveState.action(StatementReceiveState.java:179) 
    at com.teradata.jdbc.jdbc_4.statemachine.StatementController.runBody(StatementController.java:120) 
    at com.teradata.jdbc.jdbc_4.statemachine.StatementController.run(StatementController.java:111) 
    at com.teradata.jdbc.jdbc_4.TDStatement.executeStatement(TDStatement.java:372) 
    at com.teradata.jdbc.jdbc_4.TDStatement.prepareRequest(TDStatement.java:541) 
    at com.teradata.jdbc.jdbc_4.TDPreparedStatement.<init>(TDPreparedStatement.java:96) 
    at com.teradata.jdbc.jdk6.JDK6_SQL_PreparedStatement.<init>(JDK6_SQL_PreparedStatement.java:21) 
    at com.teradata.jdbc.jdk6.JDK6_SQL_Connection.constructPreparedStatement(JDK6_SQL_Connection.java:76) 
    at com.teradata.jdbc.jdbc_4.TDSession.prepareStatement(TDSession.java:1491) 
    at org.apache.sqoop.mapreduce.db.DBRecordReader.executeQuery(DBRecordReader.java:101) 

Answer 1

вам придется использовать --split-by ИЛИ --boundary-query вариант, независимо от --num-mappers ИЛИ -m варианта.

Разделенная колонка не обязательно равна PK. Вы можете иметь сложную PK и некоторую колонку int Split. но используйте один из столбцов из составного ключа как --split-by.

--split-by ~~> Столбец таблицы используется для разделения рабочих единиц

также попробовать --boundry-query + --split-by если выше вариант (только --split-by) не работает:

sqoop import \ 
    --connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" \ 
    --username=retail_dba \ 
    --password=cloudera \ 
    --table departments \ 
    --target-dir /user/cloudera/departments \ 
    -m 2 \ 
    --boundary-query "select 2, 8 from departments limit 1" \ 
    --split-by department_id 

По умолчанию sqoop будет использовать запрос select min(<split-by>), max(<split-by>) from <table name>, чтобы узнать границы для создания разделов. В некоторых случаях этот запрос не является наиболее оптимальным, поэтому вы можете указать любой произвольный запрос, возвращающий два числовых столбца, используя аргумент --boundary-query.

Проверить подробно объяснение: https://stackoverflow.com/a/37389134/2079249

selecting_the_data_to_import

Answer 2

Попробуйте использовать -m1 в вашей команде sqoop вместо - Num картографа 1.