Оптимизированный процесс приема пакетов данных при большой нагрузке на сеть

Question

Я пишу клиент-серверное приложение (TCP-протокол) на C++.
У меня есть возможность, когда клиент может получать данные с нескольких серверов.
Чтобы решить эту проблему, я создал список соединений сокетов.

В цикле, на каждую розетке, я выполняю следующие действия:

• попытки получить данные об этом на гнездо
• поместить это в буфере
• буфер данных процесса
• ясно буфер
• выполняют те же шаги для следующего гнезда

Сейчас в мой дизайн, изначально я создал общий буфер для всех подключений. Но я предполагаю, что в случае большой нагрузки на сеть может случиться так, что полученная телеграмма не является полной телеграммой, она может быть частью телеграммы. поэтому, чтобы завершить телеграмму, мне придется ждать следующей итерации для того же сокета, и даже клубы или идентификационные телеграммы будут сложным процессом.

Для обработки этого сценария одним из решений может быть предоставление выделенного буфера для каждого соединения.

Можно ли предложить более оптимизированное/лучшее решение, чтобы избежать создания выделенного буфера для каждого соединения?

Answer 1

Я думаю, что если вы хотите обработать все сообщение/телеграмму только тогда, когда у вас есть все в памяти сразу, то единственный выделенный буфер приема для каждого TCP-соединения будет единственным способом. Если вы не очень ограничены в объеме оперативной памяти, доступной вам, или входящие сообщения очень велики, это не должно быть проблемой. (если это проблема, рассмотрите способы уменьшения количества сообщений, например, разбив каждое сообщение на ряд небольших сообщений, которые могут быть обработаны последовательно)

Answer 2

Если вы серьезно относитесь к этому, используйте поток для каждого сокета, каждый со своим собственным буфером, возможно, тоже обрабатывая обработку или передавая ее в поток обработки, зависящий от конкретного соединения, но вы также можете отправить все входящие данные в одну «рабочую» очередь, если это необходимо сделать по какой-то причине.

Если вы должны использовать один поток, вы должны использовать буфер для каждого соединения. TCP реализует своеобразное управление потоком, которое означает, что стороне-отправителю даже не разрешено отправлять больше сообщений до тех пор, пока принимающая сторона не будет достаточно потреблять. Если вас беспокоит использование памяти, вы можете удалить буферы, специфичные для конкретного подключения, которые были полностью обработаны и только повторно создать их при обнаружении неполного сообщения, но обычно страницы, которые не были недавно доступны, будут заменены в условиях жесткой памяти так что при сохранении памяти мало вреда - пока ваше (виртуальное) адресное пространство изобилует: время и фрагментация, связанные с повторными распределениями динамической памяти и освобождениями, могут быть хуже, чем использование пиковой памяти.