Анализ пакетов из потока TCP

Question

Я часто пишу простые TCP-серверы python, которые отвечают на запрос после разбора пакета с префиксом длины. Если предположить, что сокет был настроен, это обычно выглядит как это:

def tcp_server_loop(): 
    msg = '' 
    msg_len = 0 
    while True: 
     msg += sock.recv(4096) 
     if len(msg) >= 4 and msg_len == 0: 
      msg_len, = struct.unpack_from("!I", msg) 
     if len(msg) >= msg_len: 
      protocol.parse_packet(msg[:msg_len]) 
      msg = msg[msg_len:] 
      msg_len = 0 

Это работает и хорошо служил мне много раз, но я всегда был irk'ed строкой добавляющим в msg += sock.recv(4096). Для небольших пакетов это не так уж плохо, так как накладные расходы при распределении нового хранилища для этих небольших строк неплохие. Но для больших пакетов (МБ) много копий происходит за кулисами в строковой реализации Python.

В C или каком-либо подобном языке кольцевой буфер является очевидной структурой данных, размер которой соответствует наибольшему ожидаемому вами пакету. Но я не нашел аналогичную реализацию Python. Мне интересно, может ли кто-то улучшить мой код выше. Как вы реализуете эти типы серверов?

Answer 1

Быстрое предложение: вы можете переименовать packet_size в msg_len для наглядности. То, что вы пытаетесь проанализировать из потока TCP, - это сообщение протокола уровня приложения, а не сегмент TCP (так называемый TCP-пакет).

Но для решения вашего вопроса: более эффективным способом является получение вашего заголовка сообщения вторым фиксированным размером bytearray буфер длиной msg_len. Используйте это, чтобы сохранить данные, которые вы впоследствии читали.