Как программно фильтровать и экспортировать данные из большого набора дампов?

Question

Существует сериализованное представление трафика, собранного в течение нескольких дней.
Много свалок, которые общий размер составляет ~ 500GB, представляет собой смесь из данных, которые были переданы по протоколам UDP, MPEG PES, OSFP, ICMP, TCP, SNMP и другие.

Меня интересуют только те, которые были переданы через TCP.

С помощью графического интерфейса пользователя WireShark в CentOS, я могу наложить фильтр «TCP только» и экспортировать данные в текстовый файл, например.

Предлагаемый фрагмент файла результатов.

Internet Protocol, Src: ... (...), Dst: ... (...) 
Transmission Control Protocol, Src Port: http (80), Dst Port: 58527 (58527), Seq: 21768005, Ack: 41490, Len: 1440 
    Source port: http (80) 
    Destination port: 58527 (58527) 
    [Stream index: 1] 
    Sequence number: 21768005 (relative sequence number) 
    [Next sequence number: 21769445 (relative sequence number)] 
    Acknowledgement number: 41490 (relative ack number) 
    Header length: 20 bytes 
    Flags: 0x10 (ACK) 
    Window size: 1002 
    Checksum: 0xfa4b [validation disabled] 
    [SEQ/ACK analysis] 
    TCP segment data (1440 bytes) 

No.  Time   Source    Destination   Protocol Info 
    55526 23.000462000 ...   ...  TCP  [TCP segment of a reassembled PDU] 

Все это занимает много времени ....

Существует способ программно экспортировать «TCP только»?

Спасибо всем.

Answer 1

Например, это можно сделать, используя следующий простой сценарий оболочки.

процессор

#!/bin/bash 
postfix=1 
for dump in dump*; do 
    tshark -r $dump -T fields -e tcp.len "tcp" &> results_$postfix 
    echo "$postfix dump was processed " 
    postfix=$(($postfix + 1)) 
done 

Для всех отвалов в каталоге.

[root@localhost real_traffic]# ./processor 
1 dump was processed 
2 dump was processed 
... 

Часть содержимого одного из файлов результатов.

... 
1440 
1440 
1440 
1440 
1440 
1440 
1440 
1440 
1440 
1440 
1440 
1440 
325 
1440 
957 
384 
...