сборка пакета tcp

Question

Я разбираю файл с большим количеством пакетов tcp, которые мне нужно проанализировать. Проблема в том, что они сегментируются, и я не могу найти никаких признаков, когда и где они это делают. Никакие флаги или что-либо еще не указывают, что середина текущего пакета может содержать начало следующего. Протокол выше tcp - это FIX (используется в онлайн-трейдинге), но я бы хотел, чтобы мой код мог работать с любыми протоколами (или, по крайней мере, понимать, что такое протокол). Я пишу код на C++ и не могу использовать какие-либо дополнительные библиотеки. Итак, как мне определить, что такое протокол выше tcp и где он сегментируется?

Answer 1

Вы не можете. TCP/IP концептуально является потоком, а не последовательностью сообщений (тот факт, что он в конечном итоге реализован как последовательность пакетов, не имеет значения). Когда вы записываете последовательность байтов в поток TCP/IP, эта последовательность добавляется в поток; это не рассматривается как сообщение, которое должно сохранять свою собственную идентичность. Никакое понятие начала/конца сообщения не передается вместе с потоком, если вы не сделаете это самостоятельно в своем собственном протоколе.

Если вам посчастливилось поверить, подумайте о том, как это работает для файлов: если вы записываете последовательность байтов в файл, эта последовательность не может стать записью, которую вы можете позже идентифицировать и получить. Если вы хотите такую ​​структуру, вы должны добавить ее самостоятельно. То же самое верно для TCP/IP.

Транспортные пакеты, используемые для реализации TCP/IP, не имеют никакого отношения к указанным вами блокам данных с вашими вызовами API; это всего лишь способ реализации потока TCP/IP. Для некоторых случаев использования может показаться, что это отображение, но это случайно.

Единственный способ разделить поток TCP/IP на отдельные сообщения - это знание протокола, работающего поверх TCP/IP. В вашем случае это FIX. Я полагаю, вы знаете, как это работает; вы можете использовать эти знания для правильного разделения данных FIX на свои исходные сообщения. Общий разделитель сообщений TCP/IP не может быть выполнен.

Answer 2

Как я вижу, ваша проблема заключается в разделении TCP-пакетов. Для его решения вы можете ретранслировать по длине полезной нагрузки (this answer) и контрольной суммы. Если контрольная сумма верна для данных с указанной длиной, чем ваш пакет является правильным, если нет - вам нужно искать в предыдущей части для начала пакета или удалить эту часть данных. По крайней мере, этот подход поможет вам найти точку, где дада была разделена на сегменты.

Для более точного ответа лучше увидеть небольшую часть данных.

Но основная проблема заключается в сегментации пакетов. Для лучшей производительности вы должны попытаться исключить эту проблему (возможно, смените сетевую карту на Intel).