Hadoop на EC2 vs Elastic Map Reduce

Question

Я пытаюсь оценить различия между этими двумя вариантами. Вот некоторые плюсы и минусы, о которых я могу думать:

Elastic Map Reduce => Лучшая поддержка Amazon, не нужно администрировать кластер, более дорогостоящий (?) EC2 + Hadoop => Больше контроля вашей конфигурации hadoop, дешевле (?)

Мне интересно, мог ли кто-нибудь сравнить производительность EC2 + Hadoop с EMR? Есть ли существенная разница в стоимости для развертывания больших кластеров? Какие существуют другие различия?

Answer 1

Ну, администрирование/мониторинг/поддержание кластера - это не маленькая задача сама по себе. Используя EMR, вы можете быстро и быстро настроить машины и запустить их с помощью своего загрузочного кода. Помимо выполнения всех этих задач, EMR предоставляет множество других инструментов/опций/объектов.

Здесь вам не нужно беспокоиться о прекращении работы кластера после выполнения заданий, вы можете наверняка реализовать свой путь в настройке EC2 + Hadoop, но EMR делает это для вас аккуратным способом.

У вас также есть объект resize the cluster, даже если ваши рабочие места работают!

Свинья и куст, доступные в EMR, также содержат патчи, которые упрощают работу с файлами в S3.

Даже here в этом ответе вы можете обнаружить, что EMR получила верх.

Answer 2

Мы используем оба подхода (EMR и EC2) на моей работе.

Преимущества EMR, о которых упоминается Амар, более или менее верны: поэтому, если вы хотите простоты, это может быть путь.

Но есть и другие соображения:

• версия ОГО далеко позади апач головы. это примерно 0,20,205, тогда как голова составляет 2,8, что в основном составляет 3 версии (1,0, 1,1, 2,0 ..)

hadoop @ domU-12-31-39-07-B9-97 : ~ $ ll hadoop * .jar lrwxrwxrwx 1 hadoop hadoop 73 5 февраля 12:00 hadoop-examples-0.20.205.jar -> /home/hadoop/.versions/0.20.205/share/hadoop/hadoop-examples- 0.20.205.jar lrwxrwxrwx 1 hadoop hadoop 69 5 февраля 12:00 hadoop-test-0.20.205.jar -> /home/hadoop/.versions/0.20.205/share/hadoop/hadoop-test-0.20.205 .jar lrwxrwxrwx 1 hadoop hadoop 69 5 февраля 12:00 hasoop-core-0.20.205.jar -> /home/hadoop/.versions/0.20.205/share/hadoop/hadoop-core-0.20.205.jar lrwxrwxrwx 1 hadoop hadoop 70 Feb 5 12:00 hadoop-tools-0.20.205.jar -> /home/hadoop/.versions/0.20.205/share/hadoop/ hadoop-tools-0.20.205.jar lrwxrwxrwx 1 hadoop hadoop 68 5 февраля 12:00 hadoop-ant-0.20.205.jar -> /home/hadoop/.versions/0.20.205/share/hadoop/hadoopant -0.20.205.jar

• Как прямое следствие мне пришлось заново код/​​реструктурировать свою карту/уменьшить программу из-за отсутствие CONTRIB модулей в старой версии, работающие на ЭХ

• Вы не имеют такую ​​же возможность использовать алгоритмы без карты/уменьшения, как если бы вы использовали обновленную версию M/R.

• Гибкость в смешивании и сопоставлении версий экосистемы хаопов.