Как создать сервер, который может обрабатывать 20 000 согласованных соединений?

Question

Мне трудно вдаваться в точный подробно о том, что нужно сделать серверу (из-за NDA, а что нет), но этого должно быть достаточно, чтобы сказать, что ему нужно обрабатывать легкий двоичный протокол со многими одновременно подключенными пользователями , ~ 20.000, где мы имеем довольно приличную оценку.

Обратите внимание, что клиенты не будут отправлять/получать постоянно, но мне нужно держать сокет открытым, потому что, когда клиенту нужен ответ, мы нуждаемся в нем как можно быстрее и не имеем времени для накладных расходов при открытии новый подключение каждый раз.

Протокол очень легкий, поэтому не будет большого количества данных, проходящих через провод. Основная проблема заключается в том, чтобы одновременно открывать 20 000 гнезд.

(я знаю, что спецификации немного нечеткие, но я действительно не могу вдаваться в подробности)

У меня есть довольно приличное представление о том, что то, что мне нужно делать, и какой тип оборудования, необходимого нам для сервера (ов), но я решил, что задаю здесь существующие проекты, технологии, языки (например, Erlang) и т. д., которые могли бы помочь мне в создании этого.

Как это можно достичь?

Answer 1

Эрланг с его легкими потоками и удивительной бинарной обработкой сделает его отличным. Что касается аппаратного обеспечения, я не вижу, что вам понадобится чрезвычайно дорогой сервер, если протокол очень легкий, но это будет зависеть от другой обработки, которая должна быть выполнена после того, как пакет был получен.

Редактировать

Если вам нужно сделать поиск данных по индексу или что-то Mnesia также больше и поддерживает в памяти и на основе дисковой памяти и полностью распределенный, если вы в конечном итоге нужно перейти к более серверам

Некоторые реальный мир информации о возможностях обработки эрланга подключения http://www.sics.se/~joe/apachevsyaws.html

Answer 2

Если вы не должны проходить через брандмауэр, рассмотреть возможность использования протокола, основанного на UDP. NFS - хороший пример протокола на основе UDP. UDP не имеет накладных расходов на установку TCP и может масштабироваться до более 65 тыс. Параллельных подключений. Однако, если вам нужна гарантированная доставка, вам нужно будет создать эту функциональность в приложении.

Для работы с большими пользовательскими базами следует использовать архитектуру сервера на основе неблокирующего ввода-вывода.

Другой предмет, на который стоит обратить внимание, - Adaptive Communications Environment (ACE) Дугласа Шмидта. Это зрелая платформа C++ для создания высокопроизводительных серверов, в основном направленных на телекоммуникационные приложения. Он поддерживает множество моделей потоковой обработки и обрабатывает большинство сложных вещей для вас. Вы можете обнаружить, что время, затрачиваемое на начальное обучение тому, как управлять им, будет сэкономлено с уменьшением усилий отладки при проблемах с грязной синхронизацией.

Answer 3

Поддержание 20 000 подключенных разъемов не является проблемой. Вы можете сделать это с помощью C на Windows (Server) довольно легко, пока вы используете порты завершения ввода-вывода и/или API-интерфейсы threadpool.

Настоящая prblem, я думаю, генерирует данные для этих 20000 соединений.Для этого могут потребоваться некоторые экзотические решения - Erlang или что-то еще. Но сторона сокета не является тривиальной, но хорошо в рамках традиционного дизайна обслуживания.

Answer 4

Взгляните на CCR от робототехники в Microsoft. Я позволяю вам программировать тип Erlang (передача сообщений, очереди и т. Д.), Но просто используя C#, а не совершенно новый функциональный язык.

Кроме того, он может использовать асинхронную модель программирования, где вам не нужны десятки потоков в пулах потоков, чтобы делать ваши вещи. Это намного быстрее и дает действительно элегантный код.

Я использую это сам для SMS-сервера, который должен выплюнуть SMS-сообщения на смешных скоростях, и он делает это, не подчеркивая процессор на всех

Answer 5

Вы не делает необходимости для поддержки 20K одновременных пользователей на одном сервере. Загрузите баланс между тремя или четырьмя и подключите их к базе данных задней панели, если вы выполняете какую-либо работу с базой данных; возможно, бросить в memcache для хорошей меры, в зависимости от того, какое приложение вы строите.