Как получить последнее время смещения от zookeeper? при чтении сообщений от кафки с использованием штормового желоба. Контекст: Кафка получает сообщения непрерывно, потребитель читает на некоторое время, а затем выключается из-за какой-либо причине, а затем потребитель читает только самое последнее сообщение, но не читает от последнего смещения чтенияПолучение сообщений от kafka с помощью шторма
ответ
потребитель читает на некоторое время а затем отключается по какой-либо причине.
Не уверен, что именно вы имеете в виду, поскольку потребитель должен работать бесконечно, если он не остановлен явно.
Теперь, предположим, что вы используете реализацию KafkaSpout шторма, существует конфигурация под названием forceStartOffsetTime
, которая используется to force the spout to rewind to a previous offset
. Способ использовать его следующим образом
spoutConfig.forceStartOffsetTime(-2);
Как видно на странице док
Он будет выбирать самый последний сдвиг написано вокруг этой метки времени, чтобы начать потреблять. Вы можете заставить носик всегда начинать с последнего смещения, пройдя в -1, и вы можете заставить его начать с самого раннего смещения, пройдя в -2.
поэтому установка его -2 всегда заставит его читать с самого начала , что конфигурация, которую вы используете, было бы здорово, если бы вы могли бы разместить код
- 1. интеграция подсчета слов топология шторма с kafka
- 2. kafka + топология шторма против микросервисов
- 3. Kafka Consumer - получение сообщений непоследовательно
- 4. Шторм Kafka носик не испуская сообщений
- 5. Получение показателей мониторинга от приложения Kafka
- 6. Отправка сообщений в Kafka Тема от iOS
- 7. Apache Storm не получает сообщений от kafka
- 8. Получение сообщений от guid
- 9. storm-kafka - пример приложения или git-ссылка топологии шторма, которая поддерживает упорядочение уровня раздела kafka?
- 10. Обработка топологии шторма постепенно замедляется
- 11. Dynamic Pivot с помощью Шторма
- 12. поток сообщений производителя Kafka
- 13. Хранить заказ в Kafka после воспроизведения сообщений с помощью Storm
- 14. файл свойств для настройки топологии шторма и kafka on hortonworks
- 15. Потребление сообщений с использованием Kafka Consumer - Java
- 16. Остановить получение сообщений от SubscriptionClient
- 17. Получение сообщений от ваших друзей
- 18. Получение сообщений от ребенка Windows
- 19. Изготовление и потребление сообщений Avro от Kafka без компонентов Confluent
- 20. Неправильный порядок сообщений с kafka-node
- 21. Просмотр сообщений через разделы Kafka
- 22. Внедрение фильтрации для сообщений kafka
- 23. Kafka Consumer не получал сообщений от своего продюсера
- 24. Kafka Потребитель не получает сообщений
- 25. Порядок сообщений Apache Kafka с несколькими разделами
- 26. Получение сообщений MSMQ с помощью службы Windows
- 27. получение всех сообщений facebook с помощью FQL
- 28. Получение последних сообщений n сообщений с помощью SharpSvn
- 29. Получение полученных сообщений с помощью API сообщений IOS 10
- 30. Количество слов с помощью шторма или Trident
, но мне не нужно с самого начала или последнее сообщение. установка -1 позволяет мне потреблять с того времени, когда потребитель не потреблял или последнее, что является текущим временным штампом –
Он выберет последнее смещение, написанное вокруг этой метки времени, чтобы начать потреблять (* от doc *) – user2720864
означает, что -1 заставит его для использования с последнего – user2720864