Как передать вывод сценария оболочки кафке?

Question

Я пытаюсь передать некоторые данные netflow в kafka. У меня есть некоторые netflow.pcap файлы, которые я читал, как

tcpdump -r netflow.pcap и получить такой вывод:

14:48:40.823468 IP abts-kk-static-242.4.166.122.airtelbroadband.in.35467 > abts-kk-static-126.96.166.122.airtelbroadband.in.9500: UDP, length 1416 
14:48:40.824216 IP abts-kk-static-242.4.166.122.airtelbroadband.in.35467 > abts-kk-static-126.96.166.122.airtelbroadband.in.9500: UDP, length 1416 

. . . .

В официальных документах упоминается традиционный способ создания производителя кафки, начиная с потребителя кафки, а на терминале вводить некоторые данные о производителе, которые будут показаны у потребителя. Хорошо. За работой.

Здесь they show how to input a file to kafka producer. Имейте в виду, всего один файл, а не несколько файлов.

Вопрос:

Как я могу кормить вывод сценария оболочки в kakfa брокера?

Например, сценарий оболочки:

#!/bin/bash 
FILES=/path/to/* 
for f in $FILES 
do 
    tcpdump -r netflow.pcap 
done 

Я не могу найти какую-либо документацию или статью, в которой они упоминают, как это сделать. Есть идеи? Благодаря!

Answer 1

Хорошо, основываясь на ссылке, которую вы указали на использование генератора оболочки kafka с входным файлом, вы можете сделать то же самое с вашим выходом. Вы можете перенаправить вывод в файл, а затем использовать производителя.

Обратите внимание, что я использовал >>, чтобы добавить файл и не перезаписывать его.

Например:

#!/bin/bash 
FILES=/path/to/* 
for f in $FILES 
do 
    tcpdump -r netflow.pcap >> /tmp/tcpdump_output.txt 
done 

kafka-console-produce.sh --broker-list localhost:9092 --topic my_topic 
--new-producer < /tmp/tcpdump_output.txt