в картостроителях выполняются последовательно не параллельно

Здравствуй я имею, я проблему с временами executinon картопостроителей: хорошо, наконец, я сменяющим сделать: чтения 2 входа файла: один файл на картограф и я добавить это свойство mapred.tasktracker.map.tasks.maximum =1 к mapred-site.xml : , и эта работа подходит для меня, так что результат финала: один файл на одного картографа и один картограф на узел. Проблема в том, что когда я смотрю на мастера: 50030 я обнаружил, что mappers (2 mappers один, который выполняется в master, а другой в подчиненном) выполняют последовательно не параллельно, почему? Как я исправить эту проблему?в картостроителях выполняются последовательно не параллельно

источник

2015-06-14 Sar El Kantara

Его я тестирование в 2-х узлах (одного ведущих и ведомых, а второй является ведомым) –

я использую multiInputs –

@axiom я использую также Distributed Cache –

В соответствии с documentation, mapred.tasktracker.map.tasks.maximum задает максимальное количество задач карты, которые будут выполняться одновременно с помощью трекера задач.

Вы должны установить этот параметр в значение больше 1.

источник

2015-06-15 08:39:42 Yann

Большое спасибо, я изменю это ... что такое свойство, которое задает количество задач на узел? Или я получу это автоматически в своей программе –

я имею в виду одну карту на узел ... я использую WholeFileInputFormat –

Спасибо Yann ваше решение разрешает всю проблему. Спасибо –

в картостроителях выполняются последовательно не параллельно

ответ

Смежные вопросы