У меня есть работа с hadoop, которая является графиком по сценариям oozie и pig, но проблема в том, что задание всегда находится в состоянии ожидания, и я не вижу никаких явных ошибок/исключений в журналах worktracker/tasktracker.Как определить, почему задание hadoop находится на рассмотрении?
Есть ли у кого-либо подобный опыт определения причины первопричины? Благодарю.
см. Ниже скриншот, проблема в том, что задача map/reduce находится в состоянии ожидания более 21 часа.
здесь журнал с работы трекера, и ничего об этой работе не было найдено в журнале задач трекера:
2012-05-09 14: 57: 19552 INFO org.apache.hadoop. mapred.JobQueuesManager: Job job_201205091453_0007 отправлен в очередь ежедневно 2012-05-09 14: 57: 19,552 INFO org.apache.hadoop.mapred.JobTracker: Job job_201205091453_0007 успешно добавлен для пользователя 'mapred' to queue 'daily' 2012-05 -09 14: 57: 19,552 INFO org.apache.hadoop.mapred.AuditLogger: USER = mapred IP = 10.40.31.234 ОПЕРАЦИЯ = SUBMIT_JOB TARGET = job_201205091453_0007 РЕЗУЛЬТАТ = УСПЕХ 2012-05-09 14: 57: 22,966 INFO org.apache.hadoop.mapred.JobInitializationPoller: переход к Инициализатору Идентификатор задания: job_201205091453_0007 Пользователь: mapred Очередь: ежедневно 2012-05-09 14: 57: 24,086 INFO org.apache .hadoop.mapred.JobInitializationPoller: Инициализация задания: job_201205091453_0007 в Queue daily Для пользователя: mapred 2012-05-09 14: 57: 24,086 INFO org.apache.hadoop.mapred.JobTracker: Инициализация job_201205091453_0007 2012-05-09 14: 57: 24,086 INFO org.apache.hadoop.mapred.JobInProgress: Инициализация job_201205091453_0007 2012-05-09 14: 57: 24,239 INFO org.apache.hadoop.mapred.JobInProgress: jobToken сгенерирован и сохранен с ключами пользователей в/var/lib /hadoop-0.20/system/job_201205091453_0007/jobToken 2012-05-09 14: 57: 24,243 INFO org.apache.hadoop.mapred.JobInProgress: размер ввода для задания job_201205091453_0007 = 48. Количество разделов = 1 2012-05-09 14: 57: 24,243 INFO org.apache.hadoop.mapred.JobInProgress: tip: task_201205091453_0007_m_000000 разделился на узел:/default-rack/hzs-ubt-elou 2012-05-09 14:57: 24,243 INFO org.apache.hadoop.mapred.JobInProgress: job_201205091453_0007 LOCALITY_WAIT_FACTOR = 1.0 2012-05-09 14: 57: 24,243 INFO org.apache.hadoop.mapred.JobInProgress: Job job_201205091453_0007 успешно инициализирован с 1 заданием карты и 1 сокращает задачи ,
Есть ли у вас доступные слоты для карт? (разместите снимок экрана на главной странице трекера задания) –
@ChrisWhite, я столкнулся с тем же вопросом. У меня есть бесплатные слоты для карт, но некоторые задания все еще ждут довольно долгое время, скажем, несколько часов. – scarcer
Что показывает пользовательский интерфейс отслеживания работы для онлайн-трекеров задач? Вы используете определенный планировщик в своей системе, некоторые слоты зарезервированы для другой очереди? –