3
Я использую команду производителя консоли kafka ниже, чтобы передать содержимое файла в производител kafka.Производитель консоли Kafka потеряет сообщения
sh ~/KAFKA_HOME/bin/kafka-console-producer.sh --broker-list xxx:9092,yyy:9092,zzz:9092 --topic HistLoad --new-producer < data.csv
Файл Data.csv содержит около 700 000 записей. Я получаю только около 699 800 сообщений на выходе потребителя.
Я проверил счетчик смещения для потребителя и на основе значений смещения, имеющих только 699 800 сообщений в очереди.
Не могли бы вы помочь мне в определении того, что вызывает эту проблему потери сообщений. Что мне нужно проверить, чтобы получить основную причину.
Сколько линий data.csv? По моему опыту, Кафка будет интерпретировать каждую строку как новое сообщение. Ожидаете ли вы 700 000 или ~ 700 000? – pjames
@pjames - около 700 000 сообщений. Каждая строка в файле представляет собой сообщение –