0
Каковы скрытые возможности Hadoop MapReduce, о которых должен знать каждый разработчик?Скрытые черты Hadoop MapReduce
Одна скрытая функция за каждый ответ, пожалуйста.
A
ответ
1
Вот некоторые советы и приемы http://allthingshadoop.com/2010/04/28/map-reduce-tips-tricks-your-first-real-cluster/
Один пункт оттуда специально, что каждый разработчик должен знать:
В коде Java есть маленькая хитрость, чтобы помочь работе быть «в курсе» в кластер задач, которые не умерли, а просто работать тяжело. Во время выполнения задачи нет встроенной отчетности о том, что задание выполняется, как ожидалось, если оно не записывается. Таким образом, это означает, что если ваши задачи занимают много времени на выполнение работы, возможно, что кластер увидит, что эта задача не удалась (на основе параметра mapred.task.tracker.expiry.interval).
Не бойтесь, что есть способ сообщить клану, что ваша задача все в порядке. У вас есть 2 способа сделать это, вы можете либо сообщить о статусе, либо увеличить счетчик. Обе из них заставят отслеживать задачи должным образом знать, что задача в порядке, и это будет видно со стороны рабочего листа по очереди. Оба эти параметра объясняются в JavaDoc http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/mapred/Reporter.html
Я не уверен, что я понимаю вопрос. Не должно быть _any_ «скрытых функций», а также «неочевидных решений». Поэтому я предполагаю, что вы ищете новые рекомендации по использованию MapReduce вместо строго недокументированных или запутанных функций API. – MrGomez
@MrGomez Я думаю, что OP означал менее известные, но полезные функции. –