Как установить количество узлов в hadoop?

Question

Я использую кластер hadoop, администрируемый нашими специалистами отдела. Для этого мне нужно только установить параметры в двух файлах (core-site.xml и mapred-site.xml), и мне хорошо идти.

Мой вопрос в том, есть ли способ контролировать количество узлов, участвующих в моей программе hadoop? Я понимаю, что если я сам администрирую кластер, я могу изменить количество дубликатов в файле конфигурации. Но поскольку у меня нет доступа к этому файлу, мне кажется, что вам не повезло.

Я знаю методы setNumMapTasks() и setNumReduceTasks(). Эти два метода могут программно определять количество задач map/reduce. Но эти цифры не обязательно правильно переводят фактические рабочие узлы?

Я слышал, что Amazon EC2 позволяет вам установить количество узлов, задействованных с помощью команды, позволяет ли регулярная реализация adoop?

Спасибо.

Answer 1

Nope. Это невозможно сделать с помощью программы. Вы можете изменить конфигурацию, чтобы это произошло.