водослива не может подключиться к порту HDFS 9099

Question

Я пытаюсь получить доступ к файлам журнала HDFS с помощью flume.I я подключен к порту 9099, но я Donno почему желобе пытается подключиться 8020 я получаю следующие ошибки:

Java. net.ConnectException: Вызов из localhost.localdomain/127.0.0.1 в localhost: 8020 не удалось при отключении подключения: java.net.ConnectException: соединение отклонено; Для получения дополнительной информации см .: http://wiki.apache.org/hadoop/ConnectionRefused

NameNode слушает порт 9099 с netstat -tlpn | grep: 9099

Я думаю, что способ установить это - форматировать namenode и установить порт на 8020, но я не хочу этого делать, поскольку он будет отформатировать все. Пожалуйста, помогите

Answer 1

8020 - это порт по умолчанию для запуска узла имен.

Вы можете изменить это в core-site.xml на имущество fs.default.name Как вы упомянули, оно работает на порту 9099. проверьте, указано ли это здесь или нет.
Проверьте файл конфигурации лотка, который указывает namenode. вы можете просто остановить кластер и изменить номер порта на значение по умолчанию и перезапустить его. Нет необходимости форматировать namenode для этого. Я тестировал это же, прежде чем отвечать на ваш вопрос.
Надеюсь, это поможет!

Answer 2

8020 - порт по умолчанию; Чтобы переопределить его, вы можете использовать flume-conf.properties. Обновите свою конфигурацию с помощью

kafkaTier1.sinks.KafkaHadoopSink.hdfs.path = hdfs://NAME_NODE_HOST:PORT/flume/kafkaEvents/%y-%m-%d/%H%M/%S