- производитель kafka, способный отправлять несколько сообщений в список?

Question

В Kafka v 0.8.2, все еще возможно/полезно отправить список ProducerRecords как производителя, а не только по одному за раз? Изучение API похоже на org.apache.kafka.clients.producer.KafkaProducer не имеет возможности отправлять несколько продюсеров с помощью одного вызова.

Однако у производителя под javaapi можно отправить список ключей. Может кто-нибудь объяснить разницу или указать мне в правильном направлении? Очень признателен.

Answer 1

Производитель под javaapi - это старая реализация, которая была заменена новой в клиентах. Новая реализация производителя может все же объединять сообщения вместе, но будет делать это в фоновом режиме, и когда вы совершаете вызов для отправки, вы получите будущее для каждого сообщения.

Размер партии и время задержки можно контролировать с параметрами «batch.size» и «linger.ms». См. documentation.

Answer 2

0.8.2 не поддерживает отправку списка сообщений, как в предыдущей версии. Вместо этого send(ProducerRecord<K,V> record, Callback callback) имеет обратный вызов.

Однако вы можете использовать старого клиента, но это не рекомендуется, так как новый клиент kafka считается более быстрым и лучшим, чем предыдущий.