Управление подключением при использовании производителя kafka в условиях высокого трафика

Question

Я собираюсь использовать kafka в очень дорожной обстановке более миллиарда запросов в день. Каждый запрос свяжет кластер kafka для отправки сообщения. Таким образом, с каждым соединением происходит так много соединений. Это может вызвать такие проблемы, как тайм-ауты сокетов. производитель делает все непостоянные соединения. Таким образом, в таком случае могут возникать проблемы с тайм-аутом сокета или портом.

Большинство экосистем в php, поэтому я должен использовать php-библиотеку для kafka. Теперь, как эффективно использовать производителя kafka для смягчения этого конфликта?

Я думал о процессе демона, который может быть передан сообщениям, и затем отправит эти сообщения в пакетном режиме в кластер kafka. Плюс сторона заключается в том, что может быть ограниченное количество соединений. Нижняя сторона - это то, что время ожидания такой службы будет препятствовать приложению. Также я должен использовать промежуточное хранилище для хранения сообщений.

Теперь я знаю, что существует множество приложений/сайтов с большим объемом данных, использующих kafka для прямого потока сообщений. Может ли кто-нибудь из вас узнать, как решить эти проблемы? Могут ли постоянные соединения помочь в этом случае? Является ли использование php-библиотеки kafka-продюсером в такой среде с большим объемом, это плохая идея?

Answer 1

Мы также используем библиотеку kafka java, и мы делаем это, как говорит @apatel, я думаю, что в вашей ситуации вы можете попытаться предоставить некоторые коляски для серверов с помощью php app, sidecar создаст Producer при запуске и драйвер java Kafka будет управлять несколькими соединениями. Вот интересная статья о приложении Netfix sidecar Netflix Prana

Answer 2

Мы используем библиотеку kafka java, и мы подключаемся к kafka при запуске сервера. В настоящее время мы отправляем около полумиллиарда сообщений в кафку каждый день и никогда не сталкивались с проблемой.

Когда вы создаете Продюсера, он в основном создает несколько подключений ... по одному для каждого раздела. Поэтому, пока вы используете разделение, вы должны отправлять письма прямо в kafka, не кэшируя их на своей стороне и не отправляя в пакет.