2016-02-23 1 views
1

Мы использовали PoC-ing falcon для нашего процесса обработки данных. У нас есть требование использовать falcon для настройки репликации между двумя кластерами (репликация каналов, а не зеркалирование). Проблема заключается в том, что идентификатор пользователя в кластере A отличается от идентификатора в кластере B. Кто-нибудь использовал falcon с этой настройкой? Кажется, я не могу найти способ заставить это работать.Использование Apache Falcon для настройки репликации данных по кластерам

1) Я настраиваю репликацию из кластера А => Кластер B 2) я определяю работу соколов на скоплениях А

Во время настройки работы она выглядит, как я могу определить только один идентификатор пользователя, которому принадлежит задание. Как настроить задание, где идентификатор в кластере A отличается от ID в кластере B? Любая помощь будет потрясающей!

ответ

0

Apache Falcon использует «владельца ACL», который должен иметь доступ на запись в качестве целевого кластера, где данные должны быть скопированы.

Источник кластера должен иметь встроенные Webhdfs, по которым будут доступны данные.

Так что в исходном кластере не планируйте фид, если у пользователя нет доступа на запись, который требуется для хранения.

Надеюсь, это поможет.

Смежные вопросы