Я работаю над переходом из Camus в Kafka Connect. Я работаю над реализацией Kafka Connect и специально ориентирован на распределенный режим. Я могу успешно запустить работника на моей локальной машине, который, как я полагаю, связывается с моим кластером Kafka. Я также могу запустить две команды GET, такие как / и /connector-plugins, которые возвращают правильный JSON. Однако, когда я пытаюсь выполнить команду POST для создания соединителя, я получаю 500 ошибок и тайм-аут. В частности, я использую эту команду POST для тестирования:Создание соединителя с Kafka Connect Распределенная ошибка возврата 500
curl -X POST -H "Content-Type: application/json" --data '{"name": "local-file-sink", "config": {"connector.class":"FileStreamSinkConnector", "tasks.max":"1", "file":"test.sink.txt", "topics":"myTopic" }}' localhost:8083/connectors
и в конечном итоге я получаю такой ответ:
{"error_code": 500, "message": "Request timed out"}
Я теряюсь, как к тому, что происходит. Журналы моего дистрибьютора Kafka Connect показывают это:
[2016-12-05 14:34:32,436] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:22:34:32 +0000] "GET /connector-plugins HTTP/1.1" 200 315 2 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:05:25,422] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:05:25 +0000] "GET /connector-plugins HTTP/1.1" 200 315 3 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:05:28,389] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:05:28 +0000] "GET /connector-plugins HTTP/1.1" 200 315 2 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:07:38,644] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:06:08 +0000] "GET /connectors HTTP/1.1" 500 48 90003 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:07:44,450] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:07:44 +0000] "GET /connector-plugins HTTP/1.1" 200 315 1 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:13:06,703] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:11:36 +0000] "POST /connectors HTTP/1.1" 500 48 90003 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:15:38,506] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:14:08 +0000] "POST /connectors HTTP/1.1" 500 48 90005 (org.apache.kafka.connect.runtime.rest.RestServer:60)
где вы можете увидеть коды ошибок и команды.
Я думаю, мои основные вопросы и вопросы:
- Как я могу лучше отладить Кафка Connect, так что я могу попытаться исправить это?
- Есть ли что-нибудь, что я делаю, это очень плохо?
- Есть ли пошаговая документация или сообщения в блоге о том, как работать с распределенным рабочим и коннектором Kafka Connect? Я действительно не видел ничего или даже лучших видов документации? Может быть, я просто слишком рано усыновляю.
Я с нетерпением ожидаю ответа от сообщества и благодарю вас за помощь!
Вы можете проверить, имеет ли ваш кластер брокеров брокера с 'broker.id = 0' –