Как подключить отладчик к удаленному экземпляру Hadoop

Question

Я не ищу эти так называемые «debugging» решения, которые полагаются на println. Я хочу приложить настоящий отладчик к запущенному экземпляру Hadoop и отладить его с другой машины.

Возможно ли это? Как? JDB?

Answer 1

Красиво дан в LINK

Для отладки задач трекера, сделай следующие шаги.

1. Редактировать конф/hadoop-env.sh иметь следующие

   экспорт HADOOP_TASKTRACKER_OPTS = "- Xdebug -Xrunjdwp: транспорт = транспорт по сокетам, адрес = 5000, сервер = у, подвесьте = п"

2. Start Hadoop (бен/start-dfs.sh и бен/start-mapred.sh)

3. Это заблокирует ждет отладки соединения
4. подключение к серверу с помощью Eclipse "Remote Java Application" в конфигурации Debug urations и добавить точки излома
5. Run карта уменьшающая Работа

Answer 2

Я никогда не делал этого так, как я предпочел бы, чтобы мои «реальные» задания выполнялись беспрепятственно с помощью отладочной работы (что в любом случае может изменить условия среды): я отлаживаю «локально» против псевдо -инстанция (обычная отладка в eclipse абсолютно не проблема), копируя определенные файлы из живой среды, как только я выделил (используя, например, счетчики), где проблема.