Действительно ли Kafka хорошо подходит для большого числа клиентов?

Я знаю, что Кафка может обрабатывать тонны трафика. Однако насколько он масштабируется для большого количества одновременных клиентов?Действительно ли Kafka хорошо подходит для большого числа клиентов?

Каждый клиент будет иметь свой собственный уникальный group_id (и, как следствие, Kafka будет отслеживать смещения каждого из них).

Будет ли это проблемой для Kafka 0.9+ с внутренними смещениями?

Будет ли это проблемой для Kafka 0.8 с смещениями, хранящимися в Zookeeper?

источник

2017-01-04 vartec

Что вы считаете «большим количеством одновременных клиентов»? '10',' 1,000', '1,000,000',' 1,000,000,000', ...? –

Ну, изначально ограниченный несколькими десятками, но в зависимости от ответа мне интересно, можно ли открыть его до 100 000+. – vartec

Некоторые пользователи Kafka, такие как LinkedIn, ранее сообщали, что один брокер Kafka может поддерживать ~ 10 тыс. Клиентских подключений. Это число может меняться в зависимости от аппаратного обеспечения, конфигурации и т. Д.

Пока скорость запроса не слишком высока, ограничивающим фактором является, вероятно, только предел open-file-descriptors, как указано в операционной системе, см., Например, http://docs.confluent.io/current/kafka/deployment.html#file-descriptors-and-mmap для получения дополнительной информации.

источник

2017-01-09 10:25:43

[i] «LinkedIn ранее сообщал, что один брокер Kafka может поддерживать ~ 10 тыс. Клиентских подключений» [/ i] Я травлял сообщения LinkedIn Engineering о Kafka, но я не могу их найти. Не могли бы вы добавить ссылку? – vartec

Эта информация, возможно, была предоставлена на конференции или посредством личных обсуждений, которые мы проводили с их командой - к сожалению, я не помню. Июнь Рао (соавтор Кафки и мой голос правды по таким вопросам) подтвердил эту информацию мне, в случае, если это поможет. –

Действительно ли Kafka хорошо подходит для большого числа клиентов?

ответ

Смежные вопросы