Я новичок в системе архитектуры hadoop и установленных компонентах с помощью веб-поиска. Для этого я установил Hadoop, sqoop, hive. Вот структура каталогов для моих установок (мой местный убунту машины, а и любой VM, каждый мой установки на отдельный каталог): -SQOOP Import Fails, файл не найден Исключение
- /USR/местные/Hadoop
- /USR/местные/sqoop
- /USR/местные/улей
глядя на ошибках я пытался решить ее, и поэтому я скопировал sqoop (локальная/USR локальной/sqoop машины /) папку для каталога HDFS (HDFS: // локальный: 54310/USR/местные/sqoop). Это решило мою проблему. Я хочу знать некоторые вещи из этого: -
- Перед тем как преодолеть мой sqoop в hdfs, это моя установка прямо?
- Необходимо скопировать каталог sqoop из файловой системы ext в файловую систему hdfs.
16/07/02 13:22:15 ОШИБКА tool.ImportTool: Обнаружен IOException работает импорт задания: java.io.FileNotFoundException: Файл не существует: HDFS: // локальный: 54310/USR/local/sqoop/lib/avro-mapred-1.7.5-hadoop2.jar at org.apache.hadoop.hdfs.DistributedFileSystem $ 18.doCall (DistributedFileSystem.java:1122) at org.apache.hadoop.hdfs.DistributedFileSystem $ 18 .doCall (DistributedFileSystem.java:1114) на org.apache.hadoop.fs.FileSystemLinkResolver.resolve (FileSystemLinkResolver.java:81) на org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus (DistributedFileSystem.java:1114) at org.apache.hadoop.mapreduce .filecache.ClientDistributedCacheManager.getFileStatus (ClientDistributedCacheManager.java:288) на org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus (ClientDistributedCacheManager.java:224) в org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.determineTimestamps (ClientDistributedCacheManager.java:93) на org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.determineTimestampsAndCacheVisibilities (ClientDistributedCacheManager.java:57) на org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles (JobSubmitter.java:269) на org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles (JobSubmitter.java:390) на org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal (JobSubmitter.java:483) at org .apache.hadoop.mapreduce.Job $ 10.run (Job.java:1296) на org.apache.hadoop.mapreduce.Job $ 10.run (Job.java:1293) at java.security.AccessController.doPrivileged (родной Метод) at javax.security.auth.Subject.doAs (Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1628) at org.apache.hadoop.mapreduce. Job.submit (Job.java:1293) at org.apache.hadoop.mapreduce.Job.waitForCompletion (Job.java:1314) at org.apache.sqoop.mapreduce.ImportJobBase.doSubmitJob (ImportJobBase.java:196) на org.apache.sqoop.mapreduce.ImportJobBase.runJob (ImportJobBase.java:169) на org.apache.sqoop.mapreduce.ImportJobBase.runImport (ImportJobBase.java:266) на org.apache.sqoop.manager.SqlManager.importTable (SqlManager.java:673) на org.apache.sqoop.manager.MySQLManager.importTable (MySQLManager.java:118) на org.apache.sqoop.tool.ImportTool .importTable (ImportTool.java: 497) на org.apache.sqoop.tool.ImportTool.run (ImportTool.java:605) на org.apache.sqoop.Sqoop.run (Sqoop.java:143) на org.apache.hadoop. util.ToolRunner.run (ToolRunner.java:70) at org.apache.sqoop.Sqoop.runSqoop (Sqoop.java:179) at org.apache.sqoop.Sqoop.runTool (Sqoop.java:218) at org.apache.sqoop.Sqoop.runTool (Sqoop.java:227) в org.apache.sqoop.Sqoop.main (Sqoop.java:236)