1
Можно ли ограничить количество записей, которые мы получаем у потребителя Kafka 0.9.0?Ограничить количество записей потребителя Kafka
A
ответ
0
Просмотр Broker Configs. Кажется, существуют только параметры конфигурации для управления записями на основе байтов.
replica.fetch.max.bytes
replica.fetch.min.bytes
И все остальные параметры конфигурации, относящиеся к сообщениям, все, как представляется, также выражаются в байтах. Я считаю, что одна из причин, по которой он был разработан таким образом, заключался в обеспечении более единообразного контроля потребления сообщений. Байты - это очень специфический способ измерения сообщений. Поскольку сообщения имеют возможность широко варьироваться в количестве байтов, попытка измерить количество сообщений даст несколько непоследовательное поведение.
Пример. Если у вас было 10 сообщений по 100 байт каждый, общий размер будет 1000 байт. Если у вас есть второй набор из 10 сообщений по 100 000 байт каждый. Общий размер будет 1 000 000 байт (1 МБ).
Конфигурация Kafka с точки зрения количества сообщений будет одинаково относиться к обоим этим случаям. Но поскольку размер настолько разный, они, вероятно, не должны рассматриваться точно так же.
+0
Я думал об этом варианте, но размеры моего сообщения меняются, как вы упомянули, поэтому здесь не служит моей цели – BlitzKrieg
+0
Вы действительно понимаете, что говорите? Я делал так, что вы должны основывать файлы на байтах, а не на количестве сообщений. Согласны ли вы с этим, или вы все еще хотите основывать на количестве сообщений? – morganw09dev
+0
Я хочу сказать, что размер моего сообщения сильно варьируется, и трудно ограничить количество сообщений, которые я получаю у потребителя, в зависимости от количества байтов в конфигурациях брокера – BlitzKrieg
Смежные вопросы
- 1. Недостающие записи потребителя Kafka
- 2. Ограничить количество записей
- 3. mongoDB ограничить количество отсканированных записей
- 4. InstanceAlreadyExistsException, исходящий от потребителя kafka
- 5. Kafka Spring Integration: заголовки не подходят для потребителя kafka
- 6. Ограничить количество записей, полученных по запросу
- 7. HIVE как ограничить количество записей в группе
- 8. Ограничить количество записей в таблице может быть
- 9. Mongoose Совокупный: ограничить количество записей в $ группы
- 10. Как ограничить 'количество записей строк, возвращаемых датой?
- 11. Как ограничить количество записей в динамическом SQL
- 12. SQL - вставить и ограничить количество записей
- 13. Как ограничить количество записей из связанной модели
- 14. Ограничить общее количество записей, отображаемых datalist
- 15. Ограничить количество записей в искровой контексте
- 16. Как ограничить количество записей в списке Java?
- 17. Ограничить количество записей в таблице в Rails
- 18. Ограничить количество записей в таблице в SQLite
- 19. Количество связанных записей, но ограничить результаты
- 20. не может получить образец производителя/потребителя kafka
- 21. Выбрав смещение от потребителя высокого уровня kafka
- 22. Запуск потребителя kafka (новый потребительский API) навсегда
- 23. Реализация потребителя kafka в spark-1.0
- 24. мультиплексирование потребителя и производителя в kafka
- 25. Эквивалентное свойство `num.consumer.fetchers` для нового потребителя kafka
- 26. Поведение потребителя Kafka для несуществующего смещения
- 27. Как отправить OffsetCommitRequest для потребителя в Kafka?
- 28. Невозможно скомпилировать потребителя Kafka в Scala
- 29. Kafka Продюсер и информация для потребителя
- 30. rabbitmq - количество prefetch для потребителя
Вы хотите ограничить количество записей в дозирующем смысле? Как ограничение потребителя получать только 10 сообщений за раз? Или с точки зрения скорости потребления? Как только получить 100 msg/min? – morganw09dev
«Как ограничение потребителя, чтобы получать только 10 сообщений за раз» - это то, что я ищу – BlitzKrieg