Установка развертывания кросс-установки MirrorMaker

Question

У меня есть вопрос относительно MirrorMaker. Я вижу, что в официальной документации (см. https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=27846330) MirrorMaker размещается в целевом центре обработки данных. Есть ли веская причина, почему он не может быть помещен в исходный центр данных?

Я спрашиваю, потому что в нашей текущей настройке MirrorMaker размещается в целевом центре обработки данных, и то, что мы видим, заключается в том, что простое владение разделами при запуске или перебалансировке занимает много времени.

Наша программа установки, как так:

• 6 Всего Кафки кластеров в центрах 4 данных
• Каждый Центры обработки данных имеет локальный Кафка Кластер
• 2 Совокупные Кафка Кластеры в 2-х из центров обработки данных
• 400+ тем в каждом локальном кластере Kafka
• 2 группы зеркальных мастеров в том же центре обработки данных, что и их соответствующее назначение. Совокупные кластеры Kafka, которые потребляют из всех 4 локальных кластеров Kafka
• MirrorMaker Экземпляры сконфигурированы для выщипывания 400+ темы с с уловом все регулярного выражением из 4-х местных Кафок Кластеров совокупных Кластеров
• Наших Кафки версия 0.8.2.1 со смещениями, хранящихся в Zookeeper

Наши В настоящее время проблема заключается в том, что при перезагрузке или перезагрузке раздела MirrorMaker разделение собственности занимает более 30 минут при потреблении из Local Kafkas в разных центрах обработки данных.

Мое предположение заключается в том, что процесс владения разделами должен проходить через центры обработки данных к источнику Kafka Zookeepers, и это перекрестное подключение по постоянному току замедляет процесс владения разделом MirrorMaker.

Я думал о перемещении MirrorMaker в исходный центр данных вместо этого, чтобы ускорить хранение разделов при запуске/балансировке. Но мне было интересно, попробовал ли кто-нибудь эту настройку и были ли какие-либо проблемы с этим подходом?

Answer 1

Производитель зеркал используется потребителем высокого уровня для использования в кластере источников. По умолчанию сам производитель зеркал занимает много времени при повторной балансировке. Это не твоя проблема. Посмотрите, где uber ударил зеркальным мастером и как они преодолели его с помощью uReplicator (https://eng.uber.com/ureplicator/). Hope помогает