Прочтите ключи только от Kafka

Question

Можно ли читать только ключи от Kafka? У нас есть приложение, в котором значения, хранящиеся в журнале Kafka, довольно велики. Чтобы отлаживать и быстро проверять, есть ли какое-либо сообщение в журнале и какое смещение, было бы здорово просто извлечь и grep через ключи вместо чтения всего значения сообщения. Просто отказ от стоимости на стороне потребителя будет большой тратой времени и пропускной способности?

Можем ли мы получить ключи только? Как? Java-решения предпочтительнее, но Scala тоже будет в порядке.

Answer 1

В соответствии с Kafka Wire Protocol невозможно получить ключи или значения. Запрос на выборку не содержит никакой информации для запроса только для ключей или значений, поэтому набор возвращаемых сообщений будет содержать все ключи и значения, присутствующие для возвращенных сообщений.

Вы можете отфильтровать ключи/значения на стороне клиента, но в настоящее время я не вижу возможности избежать сетевых накладных расходов, которые вы ищете.