Aster Database для Hadoop с помощью Sqoop

Question

Я использую ниже синтаксис для чтения из Teradata Aster таблицы базы данных транзакции и загрузить в таблицу Hadoop/Hive

Я добавил ниже опарник в /usr/iop/4.1.0.0/sqoop/lib папки

terajdbc4.jar 
tdgssconfig.jar 
noarch-aster-jdbc-driver.jar 

Синтаксис:

sqoop import --connect jdbc:ncluster://hostname.gm.com:2406/Database=test --username abcde --password test33 --table aqa.transaction 

Ошибка:

Warning: /usr/iop/4.1.0.0/sqoop/../accumulo does not exist! Accumulo imports will fail. 
Please set $ACCUMULO_HOME to the root of your Accumulo installation. 
16/12/14 15:38:49 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6_IBM_20 
16/12/14 15:38:49 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 
16/12/14 15:38:49 ERROR tool.BaseSqoopTool: Got error creating database manager: java.io.IOException: No manager for connect string: jdbc:ncluster://hostname.gm.com:2406/Database=test 
     at org.apache.sqoop.ConnFactory.getManager(ConnFactory.java:191) 
     at org.apache.sqoop.tool.BaseSqoopTool.init(BaseSqoopTool.java:256) 
     at org.apache.sqoop.tool.ImportTool.init(ImportTool.java:89) 
     at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:593) 
     at org.apache.sqoop.Sqoop.run(Sqoop.java:143) 
     at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) 
     at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179) 
     at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218) 
     at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227) 
     at org.apache.sqoop.Sqoop.main(Sqoop.java:236) 

Answer 1

Добавьте --connection-manager <class-name> в команду sqoop, если она доступна для вашей РСУБД в sqoop.

В противном случае добавьте --driver <driver-name> в команду sqoop, чтобы использовать общий диспетчер соединений.

Answer 2

Вы можете попробовать JDBC jar из Aster.

Вот некоторые шаги, которые я затем создать внешнюю таблицу улей после импорта таблицу Aster с помощью Sqoop:

1. Скачать JDBC банку с https://aster-community.teradata.com/docs/DOC-2254

2. экспорта HADOOP_CLASSPATH = $ HADOOP_CLASSPATH: $ PWD /noarch-aster-jdbc-driver.jar

3. sqoop import -D mapreduce.job.name = "Sqoop Hive Import for Aster table tableName" --соединить "jdbc: ncluster: // XXXX/database" - Водитель com.asterdata.ncluster.Driver --username "user1" - пароль "password" --query "select * from schema.table где \ $ УСЛОВИЯ limit 10" --split-by col1 --as-avrodatafile --target -dir/tmp/aster/tableName

4. Создайте внешнюю таблицу Hive в целевом каталоге или замените файл avrodata с параметрами таблицы улья.