Существует несколько версий API Hadoop, которые доступны как часть дистрибутивов Cloudera и Yahoo. Кроме того, для Cloudera существуют версии cdh3u1 to cdh3u4.Какая версия API Hadoop для использования
Я видел, что методы API также меняются так, как они названы, и параметры, которые они принимают.
Какая версия API Hadoop и откуда, могу ли я использовать последнюю и стабильную?
Какая версия API Hadoop и откуда, могу ли я использовать последнюю и стабильную?
Первое, что нужно отметить, что последние и стабильные API не совпадают. Потребуется некоторое время, чтобы новейший API стал твердым, со всеми обнаруженными ошибками и исправленными.
Если вас интересует упакованное программное обеспечение, перейдите по ссылке Cloudera и загрузите стабильную или альфа-версию и попробуйте ее. Для HortonWorks вы можете скачать HDP 1.0, которая является единственной доступной версией. Cloudera выпускает CDH около 4 лет на регулярной основе, поэтому он более зрелый по сравнению с HDP от HortonWorks. CDH имеет следующее поколение MapReduce, в то время как HDP имеет устаревшую архитектуру MapReduce.
В вышеупомянутых упаковках (CDH и HDP) есть набор рамок, хорошо интегрированных и протестированных. Итак, это вопрос обучения использованию фреймворков. Нет необходимости беспокоиться о проблемах взаимодействия в разных рамках.
Если вы хотите узнать о Hadoop, я бы предложил загрузить программное обеспечение с Apache Hadoop, а затем продолжить установку и настройку. То же самое относится и к Pig, Hive и другим программным средствам. Вы можете обнаружить некоторые проблемы совместимости, которые необходимо решить по мере продолжения.
В пространстве Apache Hadoop есть трек 1x, который имеет устойчивую архитектуру MR, а затем трек 2x, который имеет next generation MapReduce architecture.