Kafka - NullPointerException in Отправить

Question

Я использую Kafka из приложения Spark для отправки некоторых уведомлений по теме. В журналах Spark я вижу в загружаемом файле следующие исключения, и сообщение не доставляется в эту тему.

15/09/08 3:29:24 ОШИБКА Sender: Uncaught ошибка производителя Кафка I/O нить:

java.lang.NullPointerException 
    at org.apache.kafka.common.network.NetworkReceive.complete(NetworkReceive.java:48) 
    at org.apache.kafka.common.network.Selector.poll(Selector.java:249) 
    at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:192) 
    at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:191) 
    at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:122) 
    at java.lang.Thread.run(Thread.java:745) 

Я не уверен, что вызывает эту ошибку и смотрит на источник, его Кажется, что либо размер, либо буферная переменная в NetworkReceive.java имеют значение null.

Сканирование через журналы, я вижу, что до этой записи в журнале появляется одно из следующих сообщений.

15/09/08 03:29:24 ERROR Sender: Uncaught error in kafka producer I/O thread: 
java.lang.IllegalStateException: Invalid request (size = -2097152000) 
    at org.apache.kafka.common.network.NetworkReceive.readFrom(NetworkReceive.java:68) 
    at org.apache.kafka.common.network.Selector.poll(Selector.java:248) 
    at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:192) 
    at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:191) 
    at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:122) 
    at java.lang.Thread.run(Thread.java:745) 
15 

Answer 1

По ошибке я переключил порядка аргументов моего Спарк приложения, и Кафка пытается соединиться с 9042 вместо 9092 порт, который он должен подключиться. У меня была Cassandra, работавшая в 9042 году, и она установила связь с ней, но не сразу, потому что сообщение не было тем, что ожидал Кафка.

Так что если кто-то сталкивается с тем же вопросом, дважды проверьте ваш Кафка брокер IP и порт :)

Answer 2

Это связанно с вашим именем хоста и портом. Проверьте свой порт, ваш процесс работает на том же порту или нет.