Ошибка Oozie - при импорте данных из mysql в hdfs

Я пытаюсь импортировать данные в hdfs из mysql через sqoop. Я могу запустить sqoop через shell, и он работает нормально. но когда я вызываю через oozie. он возникает после ошибки и сбоя. Я также включил банки.Ошибка Oozie - при импорте данных из mysql в hdfs

Сейчас я пытаюсь это в моем доме - CDH 5,3 один узел в виртуальном поле, но ошибка все та же

Я знаю, что это уже обсуждалось ранее, но до сих пор не поможет ..

Главная ошибка: файл свойств

ERROR, reason: Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1]

Работа, как показано ниже, присутствует в местной среде

nameNode=hdfs://localhost:8020 
jobTracker=localhost:8032 

oozie.use.system.libpath=true 
oozie.wf.application.path=${nameNode}/user/harry/

Workflow.xml файл, как показано ниже, который присутствует в HDFS под $ {NameNode}/пользователя/Harry/

<workflow-app name="Trend_Analysi_Scoop_Script" xmlns="uri:oozie:workflow:0.4"> 
<start to="sqoop-c68d"/> 
<kill name="Kill"> 
    <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message> 
</kill> 
<action name="sqoop-c68d"> 
    <sqoop xmlns="uri:oozie:sqoop-action:0.2"> 
     <job-tracker>${jobTracker}</job-tracker> 
     <name-node>${nameNode}</name-node> 
     <arg>import</arg> 
     <arg> --connect</arg> 
     <arg>jdbc:mysql://localhost/oozie_training</arg> 
     <arg>--username</arg> 
     <arg>root</arg> 
     <arg>--password</arg> 
     <arg>cloudera</arg> 
     <arg>--table</arg> 
     <arg>user</arg> 
     <arg>--target-dir</arg> 
     <arg>/training/sqoop</arg> 
     <arg>-m</arg> 
     <arg>1</arg> 
    </sqoop> 
    <ok to="End"/> 
    <error to="Kill"/> 
</action> 
<end name="End"/>

Я включил все необходимые банки под ниже пути

[[email protected] ~]$ hadoop fs -ls /user/oozie/share/lib/lib_20141218070949/sqoop 
Found 75 items 
-rw-r--r-- 1 root oozie  960374 2016-05-26 22:00 /user/oozie/share/lib/lib_20141218070949/sqoop/mysql-connector-java-5.1.34-bin.jar 
-rw-r--r-- 1 oozie oozie  16924 2014-12-18 07:09 /user/oozie/share/lib/lib_20141218070949/sqoop/oozie-sharelib-sqoop-4.0.0-cdh5.3.0.jar 
-rw-r--r-- 1 oozie oozie 1010790 2014-12-18 07:09 /user/oozie/share/lib/lib_20141218070949/sqoop/sqoop-1.4.5-cdh5.3.0.jar

Я также перезапустил сервер oozie после добавления банок.

Журналы ошибок, которые я получаю, приведены ниже.

2016-05-24 10:37:17,994 INFO ActionStartXCommand:520 - SERVER[***]    USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]:start:] Start action [[email protected]:start:] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 
2016-05-24 10:37:17,997 INFO ActionStartXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]:start:] [***[email protected]:start:***]Action status=DONE 
2016-05-24 10:37:17,997 INFO ActionStartXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]:start:] [***[email protected]:start:***]Action updated in DB! 
2016-05-24 10:37:18,164 INFO WorkflowNotificationXCommand:520 - SERVER[***] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]:start:] No Notification URL is defined. Therefore nothing to notify for job [email protected]:start: 
2016-05-24 10:37:18,165 INFO WorkflowNotificationXCommand:520 - SERVER[***] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[] No Notification URL is defined. Therefore nothing to notify for job 0000001-160524103133053-oozie-oozi-W 
2016-05-24 10:37:18,188 INFO ActionStartXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] Start action [[email protected]] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 
2016-05-24 10:37:26,080 INFO SqoopActionExecutor:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] Trying to get job [job_1462295072181_0163], attempt [1] 
2016-05-24 10:37:26,106 INFO SqoopActionExecutor:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] checking action, hadoop job ID [job_1462295072181_0163] status [RUNNING] 
2016-05-24 10:37:26,108 INFO ActionStartXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] [***[email protected]***]Action status=RUNNING 
2016-05-24 10:37:26,114 INFO ActionStartXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] [***[email protected]***]Action updated in DB! 
2016-05-24 10:37:26,184 INFO WorkflowNotificationXCommand:520 - SERVER[***] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] No Notification URL is defined. Therefore nothing to notify for job [email protected] 
2016-05-24 10:37:37,181 INFO CallbackServlet:520 - SERVER[***] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] callback for action [[email protected]] 
2016-05-24 10:37:37,314 INFO SqoopActionExecutor:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] Trying to get job [job_1462295072181_0163], attempt [1] 
2016-05-24 10:37:37,388 INFO SqoopActionExecutor:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] action completed, external ID [job_1462295072181_0163] 
2016-05-24 10:37:37,395 WARN SqoopActionExecutor:523 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1] 
2016-05-24 10:37:37,484 INFO ActionEndXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] ERROR is considered as FAILED for SLA 
2016-05-24 10:37:37,679 INFO ActionStartXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] Start action [[email protected]] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 
2016-05-24 10:37:37,683 INFO ActionStartXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] [***[email protected]***]Action status=DONE 
2016-05-24 10:37:37,683 INFO ActionStartXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] [***[email protected]***]Action updated in DB! 
2016-05-24 10:37:37,930 INFO WorkflowNotificationXCommand:520 - SERVER[***] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] No Notification URL is defined. Therefore nothing to notify for job [email protected] 
2016-05-24 10:37:37,931 INFO WorkflowNotificationXCommand:520 - SERVER[***] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[] No Notification URL is defined. Therefore nothing to notify for job 0000001-160524103133053-oozie-oozi-W 
2016-05-24 10:37:37,931 INFO WorkflowNotificationXCommand:520 - SERVER[***] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] No Notification URL is defined. Therefore nothing to notify for job 0000001-160524103133053-oozie-oozi- [email protected]

Я думаю oozie не подбирая акций/LIB, если это было бы очень здорово, если бы кто-то может помочь мне в тот же

Любая помощь будет оценена.

источник

2016-05-24 Hardeep Ajmani

Можете ли вы проверить журналы с помощью запуска? Вы должны найти дополнительную информацию о неудаче? – YoungHobbit

Где я могу получить журналы работы с пусковыми установками? –

Похоже, есть некоторая проблема с вашим тегом «команда» в действии sqoop. Поскольку это уже действие sqoop, «/usr/hdp/2.4.0.0-169/sqoop/bin/sqoop» не требуется. Обратитесь к примерам в приведенной ниже ссылке, чтобы исправить их. И попробуйте повторить работу снова.

https://oozie.apache.org/docs/4.0.0/DG_SqoopActionExtension.html#Sqoop_Action

источник

2016-05-25 13:46:29 SyedAbid

Я пробовал то же самое в своей домашней системе и получил ту же ошибку. Все предложения, которые вы указали, реализованы и отредактируйте вопрос с тем же. –

Существует другой способ использования sharelib. Просто скопируйте все банки, которые вам нужны, в каталог на HDFS, например «/ user/oozie/libraries», и используйте следующее свойство в файле job.properties. oozie.libpath =/пользователь/oozie/libraries – SyedAbid

Вы используете --query опцию в command элемент, который не поддерживается в oozie. Вам нужно использовать тег arg и предоставить все аргументы индивидуально. Тег command разделен пробелами, поэтому он не будет работать с опцией --query. Вот пример:

 <arg>import</arg> 
     <arg>--connect</arg> 
     <arg>jdbc:mysql://host:3306/oozie</arg> 
     <arg>--username</arg> 
     <arg>user</arg> 
     <arg>--password</arg> 
     <arg>pwd</arg> 
     <arg>--driver</arg> 
     <arg>com.mysql.jdbc.Driver</arg> 
     <arg>--query</arg> 
     <arg>"select BUNDLE_ACTIONS.* from BUNDLE_ACTIONS where $CONDITIONS"</arg> 
     <arg>--hcatalog-table</arg> 
     <arg>bundle_actions</arg> 
     <arg>--hcatalog-database</arg> 
     <arg>oozie</arg> 
     <arg>--skip-dist-cache</arg> 
     <arg>-m</arg> 
     <arg>1</arg>

источник

2016-05-26 04:18:13 YoungHobbit

сделал это, но без успеха еще ..обновленный вопрос с тем же. –

Вам нужно проверить журналы работы с пусковыми установками. Вы можете получить доступ к веб-интерфейсу Oozie Web. Откройте рабочий процесс, действие sqoop и URL-адрес консоли. Это задача запуска. – YoungHobbit

Ошибка Oozie - при импорте данных из mysql в hdfs

ответ

Смежные вопросы