Async threaded tcp server

Question

Я хочу создать высокопроизводительный сервер на C#, который может занять около ~ 10 тыс. Клиентов. Теперь я начал писать TcpServer с C#, и для каждого клиентского соединения я открываю новый поток. Я также использую один поток для приема соединений. Пока все хорошо, отлично работает.

Сервер должен десериализовать входящие объекты AMF, выполнить некоторую логику (например, сохранить позицию игрока) и отправить какой-либо объект обратно (сериализация объектов). Я не беспокоюсь о сериализации/десериализации части atm.

Моя главная проблема заключается в том, что у меня будет много потоков с 10k-клиентами, и я где-то читал, что ОС может содержать только несколько потоков hunderd.

Есть ли источники/статьи для написания достойного асинхронного многопоточного сервера? Существуют ли другие возможности или будут работать потоки 10k? Я посмотрел на Google, но я не мог найти много информации о шаблонах дизайна или способах, которые его объясняют.

Answer 1

Вы столкнетесь с рядом проблем.

1. Вы не можете развернуть 10 000 потоков по нескольким причинам. Это приведет к сбою планировщика ядра. Если вы используете 32-битное, тогда адресное пространство стека по умолчанию 1 МБ означает, что потоки 10k зарезервируют около 10 ГБ адресного пространства. Это не удастся.

2. Вы также не можете использовать простую систему выбора. В его сердце выберите O (N) для количества сокетов. С сокетами 10k это плохо.

3. Вы можете использовать порты ввода-вывода ввода-вывода. Это сценарий, для которого они предназначены. Насколько я знаю, нет стабильной, управляемой библиотеки портов ввода-вывода IO. Вам придется писать свои собственные, используя P/Invoke или Managed C++. Повеселись.

Answer 2

Вы определенно не хотите нить за запрос. Даже если у вас меньше клиентов, накладные расходы на создание и уничтожение потоков будут калечить сервер, и вы не сможете получить до 10 000 потоков; планировщик ОС умрет до ужасной смерти.

В C# имеется множество статей о программировании асинхронного сервера (например, here). Просто google немного.

Answer 3

Вы хотите изучить IO completion ports. У вас в основном есть threadpool и очередь операций ввода-вывода.

порты ввода/вывода завершающие обеспечивают эффективную потоковую модель для обработки нескольких асинхронного ввода/вывода запросы на многопроцессорной системе. Когда процесс создает порт завершения ввода-вывода , система создает связанный объект-объект для запросов , единственной целью которых является обслуживание этих запросов . Процессы, которые обрабатывают многие одновременно асинхронного ввода/вывода запрашивает может сделать это более быстро и эффективно с помощью портов ввода/вывода завершения в сочетании с предварительно выделенной пул нити, чем за счет создания темы в то время они получают I/O .

Answer 4

Способ создания эффективного многопоточного сервера заключается в использовании портов завершения ввода-вывода (использование потока для каждого запроса довольно неэффективно, как упоминает @Marcelo).

Если вы используете асинхронную версию класса сокетов .NET, вы получаете это бесплатно. См. this question, который содержит указатели на документацию.