Рекомендации/рекомендации - Выполнение заданий

Question

Я пытаюсь создать механизм корреляции событий потока с Flink, и у меня есть некоторые вопросы относительно выполнения заданий.

В моей архитектуре мне нужно иметь разные источники данных, позволяет сказать, например:

firewallStream= environment.addSource([FirewalLogsSource]); 
proxyStream = environment.addSource([ProxyLogsSource]); 

и для каждого из этих источников, мне нужно применить набор правил. Так позволяет сказать, что у меня есть работа, которая имеет в качестве источника прокси поток данных со следующими правилами:

//Abnormal Request Method 
stream.[RuleLogic].addSink([output]) 
//Web Service on Non-Typical Port 
stream.[RuleLogic].addSink([output]) 
//Possible Brute Force 
stream.[RuleLogic].addSink([output]) 

Эти правила, вероятно, масштабироваться, чтобы быть в порядке от 15 до 20 правил.

Каков наилучший подход в данном случае:

1. Должен ли я создать 2 рабочих места по одному для каждого источника и каждая работа будет иметь 15-20 правила?
2. Должен ли я разделить правила на несколько заданий?
3. Другие варианты?

Спасибо и наилучшими пожеланиями,

Pedro Chaves.

Answer 1

Я новичок. Я думаю, что есть две основные проблемы, которые следует учитывать.

1. Сетевое движение. Несколько считывателей данных будут иметь несколько сетевых трафиков.
2. Расчет задержки. Включение всех логических вычислений в одно задание может увеличить задержку.