Hadoop MapReduce getMapOutput не удалось

Question

Текущая установка:
- Hadoop 0.20.2-cdh3u3
- Hbase Версия 0.90.4-cdh3u3
- Причал-6.1.14
- Бег на виртуальной машине (Debian Squeeze)

Проблема возникает во время процесса mapreduce на таблице Hbase. На Reduce фазы он падает каждый раз, когда в том же самой точке с этими бревнами в tasktracker.log:

ERROR org.apache.hadoop.mapred.TaskTracker: getMapOutput(attempt_201205290717_0001_m_000010_0,3) failed: 
org.mortbay.jetty.EofException 

WARN org.mortbay.log: Committed before 410 getMapOutput(attempt_201205290717_0001_m_000010_0,3) failed : 
org.mortbay.jetty.EofException 

ERROR org.mortbay.log: /mapOutput 
java.lang.IllegalStateException: Committed 

Надеясь кто сталкивался с такой же или подобной проблемой раньше, ищет решение.

Answer 1

Причал EOFException наблюдается, когда задача «Сокращение» преждевременно закрывает соединение с причальным сервером. Перезагрузите задачи и снова запустите задание. Посмотрите, работает ли это для вас.

Answer 2

Здесь я столкнулся с той же проблемой.

На моем кластере это происходит на всех подчиненных (datanode & tasttrackers), за исключением одного, что приводит к общему процессу сокращения, чтобы первый прогресс был очень медленным и в какой-то момент в рекруле прогресса сокращения до сих пор из-за некоторая ошибка. процесс сокращения затем начинается снова и снова: работа никогда не заканчивается.

В bugtracker есть открытая серьезная проблема. См. https://issues.apache.org/jira/browse/MAPREDUCE-5

Будем надеяться, что это будет исправлено в какой-то день, но в настоящий момент я не могу использовать мою программу hadoop с огромными файлами> 3 ГБ вообще. В моем случае я надеюсь, что могу исправить это путем дополнительной очистки данных и более эффективных структур данных (trove, fastutils), поэтому проблема вообще не возникает, но, честно говоря, это похоже на неправильный подход. Не делать этих небольших трюков была главная причина, начинающаяся с hadoop в любом случае.