Перенести проект Mapreduce1 в YARN-гид

Question

У меня есть большой проект Java, который основан на MapReduce 1, и я хочу перенести его в YARN. Кто-нибудь знает, как это сделать?

Спасибо.

Answer 1

Я работал над градацией производства кластера Hadoop вместе с приложением. Следующим процессом является:

1. Мы строим небольшой кластер из желаемого распределения хаоса, поддерживающего YARN.
2. Мы протестировали весь код, например, программу Map/Reduce, скрипт сценария программы Pig, скрипт sqoop и т. Д. В новом кластере и внесли необходимые изменения в код. Как правило, не слишком много изменений кода. Просто нужно проверять поддерживаемые функции, методы и т. Д.
3. Проверено на выходе из старого выхода. Если ваш результат совпадает со старым выходом, тогда ваш код хорош для перехода. Если есть несоответствие, вам нужно исправить свой код.
4. Модернизированный кластер hadoop.
5. Развернутый код на обновленном кластере.

Примечание: Вы не можете заменить только MapReduce версии 1 на YARN. Вам также нужно обновить свиньи, улей, sqoop и т. Д. Я предлагаю вам собрать стек HDP, который вам нужен, а затем обновить кластер. Все поддерживаемые инструменты, утилиты и программное обеспечение должны быть обновлены с поддерживаемой версией Hadoop.