Сообщение об отказе в работе Sqoop

Question

Рассмотрите, что я настроил 10 рабочих мест sqoop. Как мне узнать, не удалось ли одному из них? Есть ли какая-либо конфигурация в sqoop для этого?

Answer 1

Вы можете создать рабочий процесс oozie для этой утилиты. Создайте действие java для отправки писем в случае сбоя. Вы можете написать небольшую программу java для отправки электронной почты с необходимыми сообщениями и называть это действием Java.

Answer 2

@divinedragon Вы можете поместить все ваши задания sqoop в сценарий оболочки и написать небольшой код для отправки статуса сбоя. статус Отказа почтового код Shell выглядит следующим образом:

Определяющей функция e-mail

email_func_fail() 
{ 
    mail -s "FAILED: Status job failed for date" -c "${CC_LIST}" "$TO_ADDRESS" < ${log_file} 
} 

после каждого задания, проверьте неисправное состояние. если задание не удалось затем отправить по электронной почте

if [ $? -ne 0 ] 
then 
     email_func_fail 
     exit 1 
fi 

Answer 3

При выполнении задания sqoop, это дает вам MapReduce JobId; что-то вроде «application_job_1500540444935_0302», которое вы можете посмотреть в своем ресурсоемнике. Hadoop resourcemanager также предоставляет RestApi статус запроса вашей работы.

RestApi IS- "http://ResourceManagerIP:ResourceManagerPort (8088 обычно)/WS/v1/кластер/приложения/(job_id)"

Вы можете использовать этот API, чтобы получить статус вашей работы.