2016-04-08 4 views
1

Я получил эти ошибки при импорте формы таблицы базы данных SQL-server в hadoop HDFS, однако базы данных списков успешно работают, и Hadoop задания выполняются правильно. вот некоторые ошибки я получил:Ошибка при импорте таблиц из sqlserver с sqoop

sqoop import --connect 'jdbc:sqlserver://192.168.1.15:1433;username=root;password=root;database=project ' --query 'SELECT * FROM Car WHERE $CONDITIONS' --target-dir /data/Database --split-by 'car_id' --as-textfile 

16/04/08 16:50:42 WARN mapred.LocalDistributedCacheManager: Failed to create symlink: /app/hadoop/tmp/mapred/local/146/parquet-avro-1.4.1.jar <- //parquet-avro-1.4.1.jar 
16/04/08 16:50:42 INFO mapred.LocalDistributedCacheManager: Localized file:/usr/lib/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/parquet-avro-1.4.1.jar as file:/app/hadoop/tmp/mapred/local/146/parquet-avro-1.4.1.jar 
16/04/08 16:50:42 INFO mapred.LocalDistributedCacheManager: Creating symlink: /app/hadoop/tmp/mapred/local/146/paranamer-2.3.jar <- //paranamer-2.3.jar 
16/04/08 16:50:42 WARN fs.FileUtil: Command 'ln -s /app/hadoop/tmp/mapred/local/146/paranamer-2.3.jar /paranamer-2.3.jar' failed 1 with: ln: failed to create symbolic link ‘/paranamer-2.3.jar’: Permission denied 

16/04/08 16:50:42 WARN mapred.LocalDistributedCacheManager: Failed to create symlink: /app/hadoop/tmp/mapred/local/146/paranamer-2.3.jar <- //paranamer-2.3.jar 
16/04/08 16:50:42 INFO mapred.LocalDistributedCacheManager: Localized file:/usr/lib/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/paranamer-2.3.jar as file:/app/hadoop/tmp/mapred/local/146/paranamer-2.3.jar 
16/04/08 16:50:42 INFO mapred.LocalDistributedCacheManager: Creating symlink: /app/hadoop/tmp/mapred/local/146/parquet-jackson-1.4.1.jar <- //parquet-jackson-1.4.1.jar 
16/04/08 16:50:42 WARN fs.FileUtil: Command 'ln -s /app/hadoop/tmp/mapred/local/146/parquet-jackson-1.4.1.jar /parquet-jackson-1.4.1.jar' failed 1 with: ln: failed to create symbolic link ‘/parquet-jackson-1.4.1.jar’: Permission denied 

16/04/08 16:50:42 WARN mapred.LocalDistributedCacheManager: Failed to create symlink: /app/hadoop/tmp/mapred/local/146/parquet-jackson-1.4.1.jar <- //parquet-jackson-1.4.1.jar 
16/04/08 16:50:42 INFO mapred.LocalDistributedCacheManager: Localized file:/usr/lib/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/parquet-jackson-1.4.1.jar as file:/app/hadoop/tmp/mapred/local/146/parquet-jackson-1.4.1.jar 
16/04/08 16:50:42 INFO mapred.LocalDistributedCacheManager: Creating symlink: /app/hadoop/tmp/mapred/local/146/commons-codec-1.4.jar <- //commons-codec-1.4.jar 
16/04/08 16:50:42 WARN fs.FileUtil: Command 'ln -s /app/hadoop/tmp/mapred/local/146/commons-codec-1.4.jar /commons-codec-1.4.jar' failed 1 with: ln: failed to create symbolic link ‘/commons-codec-1.4.jar’: Permission denied 
16/04/08 16:50:42 WARN mapred.LocalDistributedCacheManager: Failed to create symlink: /app/hadoop/tmp/mapred/local/146/parquet-generator-1.4.1.jar <- //parquet-generator-1.4.1.jar 
16/04/08 16:50:42 INFO mapred.LocalDistributedCacheManager: Localized file:/usr/lib/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/parquet-generator-1.4.1.jar as file:/app/hadoop/tmp/mapred/local/146/parquet-generator-1.4.1.jar 
16/04/08 16:50:42 INFO mapred.LocalDistributedCacheManager: file:/app/hadoop/tmp/mapred/local/146/commons-logging-1.1.1.jar 
16/04/08 16:50:42 INFO mapred.LocalDistributedCacheManager: file:/app/hadoop/tmp/mapred/local/146/jackson-annotations-2.3.0.jar 

16/04/08 16:50:42 INFO mapreduce.Job: The url to track the job: http://localhost:8080/ 
16/04/08 16:50:42 INFO mapreduce.Job: Running job: job_local194572897_0001 
16/04/08 16:50:42 INFO mapred.LocalJobRunner: OutputCommitter set in config null 
16/04/08 16:50:42 INFO output.FileOutputCommitter: File Output Committer Algorithm version is 1 
16/04/08 16:50:42 INFO mapred.LocalJobRunner: OutputCommitter is org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter 
16/04/08 16:50:42 INFO mapred.LocalJobRunner: Waiting for map tasks 
16/04/08 16:50:42 INFO mapred.LocalJobRunner: Starting task: attempt_local194572897_0001_m_000000_0 
16/04/08 16:50:42 INFO output.FileOutputCommitter: File Output Committer Algorithm version is 1 
16/04/08 16:50:42 INFO mapred.Task: Using ResourceCalculatorProcessTree : [ ] 
16/04/08 16:50:42 INFO db.DBInputFormat: Using read commited transaction isolation 
16/04/08 16:50:42 INFO mapred.MapTask: Processing split: car_id >= 1 AND car_id <= 4 
16/04/08 16:50:42 INFO mapred.LocalJobRunner: map task executor complete. 
16/04/08 16:50:42 WARN mapred.LocalJobRunner: job_local194572897_0001 
java.lang.Exception: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class QueryResult not found 
    at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462) 
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522) 
Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class QueryResult not found 
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2195) 
    at org.apache.sqoop.mapreduce.db.DBConfiguration.getInputClass(DBConfiguration.java:403) 
    at org.apache.sqoop.mapreduce.db.SQLServerDBInputFormat.createDBRecordReader(SQLServerDBInputFormat.java:56) 
    at org.apache.sqoop.mapreduce.db.DBInputFormat.createRecordReader(DBInputFormat.java:263) 
    at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.<init>(MapTask.java:515) 
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:758) 
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) 
    at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:243) 
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
    at java.lang.Thread.run(Thread.java:745) 
Caused by: java.lang.ClassNotFoundException: Class QueryResult not found 
    at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2101) 
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2193) 
    ... 12 more 

и результат был:

16/04/08 16:50:43 INFO mapreduce.Job: Job job_local194572897_0001 running in uber mode : false 
16/04/08 16:50:43 INFO mapreduce.Job: map 0% reduce 0% 
16/04/08 16:50:43 INFO mapreduce.Job: Job job_local194572897_0001 failed with state FAILED due to: NA 
16/04/08 16:50:43 INFO mapreduce.Job: Counters: 0 
16/04/08 16:50:43 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead 
16/04/08 16:50:43 INFO mapreduce.ImportJobBase: Transferred 0 bytes in 2.6174 seconds (0 bytes/sec) 
16/04/08 16:50:43 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead 
16/04/08 16:50:43 INFO mapreduce.ImportJobBase: Retrieved 0 records. 
16/04/08 16:50:43 ERROR tool.ImportTool: Error during import: Import job failed! 
+0

Здесь здесь не так много подробностей, но, безусловно, общая тема среди выводимых сообщений «Разрешение отказано». Я бы начал там. –

+0

Проверьте логин, который вы используете на сервере sql. i.e имя пользователя и пароль, независимо от того, требуются ли требуемые разрешения или нет. – TKHN

+0

Имя пользователя, которому я пользовался, имеет необходимое разрешение для входа в систему и использования команд DML –

ответ

0

Перейти к безопасности Войти и проверить логин использует Sql проверки подлинности сервера и снимите обе галочки политики включения пароля и обеспечения истечения срока действия пароля

enter image description here

Кроме того, убедитесь, что в свойствах вашего сервера у вас есть аутентификация сервера SQL Server и аутентификация входа в систему. Исключена радиокнопка «none».

+0

Спасибо моему другу, но все перечисленные выше свойства правильно выполнены –

Смежные вопросы