Im делает некоторые испытания с Flink в сравнении с некоторыми другими потоковыми платформами. Источником данных для тестов является тема кафки с разным объемом трафика, и я пытаюсь выяснить, продолжает ли флинк.flink - измерение противодавления
Есть ли способ узнать, насколько сильно «противодавление» помещается на потребителя кафки? IE Это идет в ногу?
Проект Apache Kafka предоставляет некоторые инструменты для получения информации о предмете и потребителях из Zookeeper. В этом случае вы можете использовать ConsumerOffsetChecker.
Какой инструмент будет выводить вас, это «смещение задержки», то есть разница между последним смещением в разделе и текущим положением потребителя.
Обратите внимание, что Flink обновляет смещение в Zookeeper примерно на частоте интервала контрольной точки, поэтому информация, которую вы видите, не на 100% точна, поскольку она не учитывает записи в полете. Но это даст вам очень хорошее представление о том, создает ли противодавление, или все идет гладко.
Кстати, если у вас возникло ощущение, что Flink не может потреблять данные из темы по мере ее создания, обратитесь за помощью к разработчикам Flink в списках рассылки. В некоторых экспериментах, которые я сделал недавно, я обнаружил, что потребитель Kafka от Flink может читать с очень высокой пропускной способностью.
В kafka_2.11-0.10.0.0 пользовательский калькулятор смещения устарел, а kafka-consumer-groups выполняет проверку смещения в соответствии с группами.
В моем случае я не вижу, чтобы какая-либо группа была указана с группами kafka-consumer, насколько это касается flinkkafkaconsumer.
В случае flink-kafka-consumer group.id не очень полезен для мониторинга смещения. вы можете найти более подробную информацию об этом на flink kafka consumer groupId not working