Как дымоход будет идентифицировать активный namenode, чтобы данные записывались в HDFS? Без высокой доступности Hadoop у нас будет ip-адрес namenode, настроенный в flume.conf, чтобы данные были легко направлены на HDFS. В то время как в нашем случае Flume должен идентифицировать активные и резервные наменоводы и, следовательно, данные должны быть направлены на активный.Как записать данные в HA Hadoop QJM с помощью Apache FLUME?
AFAIK невозможно по возможности. Конфигурация HDFS sink имеет только место для одного Namenode.
Тем не менее, я думаю, вы можете настроить два приемника HDFS (и два канала), каждый из которых указывает на Namenode. Источник поместит копию каждого события в оба канала по умолчанию Replicating Channel Selector. Таким образом, каждый приемник попытается сохранить данные сам по себе; тот, который указывает на резервный Namenode, не будет сохраняться ничем, пока активный не упадет, и ожидание станет активным.
HTH!
Это работает для меня (Hadoop 2.7.1, 1.6.0 водотоки): Место Hadoop * -site.xml конфигурационные файлы к вам Flume классам
Не уверен, какой из них работает, я поместил ядро сайт, hdfs-сайт, сайт пряжи, mapred-site), но настройки для имени кластера находятся в файле core-site.xml