python-kafka: Возможно ли, чтобы потребитель пропускал сообщения на основе атрибутов сообщений?

Question

Учитывая набор сообщений, каждый из которых имеет атрибут приоритета. Возможно ли, чтобы потребитель пропускал или игнорировал сообщения, чей атрибут приоритета недостаточно высок?

Сначала я deserialized сообщения, потребляемые потребителем kafka-python, проверял уровень приоритета и отбрасывал те сообщения, которые не соответствовали требуемому уровню приоритета.

Но я обеспокоен тем, что если сообщение велико, значительное время будет потрачено впустую десериализации сообщений, которые не будут обрабатываться дальше. Нет ли способа сделать это при чтении из очереди кафки?

Answer 1

В настоящее время Kafka не поддерживает персонализированные метаданные, поэтому единственный способ для потребителя отфильтровать определенные сообщения - прочитать полезную нагрузку. Однако есть improvement proposal under discussion, который рассмотрит эту ситуацию и может стоить того.