Журналы и журналы IIS

Question

Прежде всего, спасибо за любые советы и ваше время.

Недавно я установил стек Elk для компании, над которой я только начал работать. (Это мой первый опыт использования Logstash и Nxlog.) Я бы хотел, чтобы отправить журналы IIS и EventLogs с одного и того же веб-сервера в logstash с помощью nxlog.

Я просто не понимаю, как отправлять два типа журналов из одного источника, и logstash.conf правильно фильтровать эти данные.

Это мой nxlog.conf

## This is a sample configuration file. See the nxlog reference manual about the 
## configuration options. It should be installed locally and is also available 
## online at http://nxlog.org/nxlog-docs/en/nxlog-reference-manual.html 

## Please set the ROOT to the folder your nxlog was installed into, 
## otherwise it will not start. 

#define ROOT C:\Program Files\nxlog 
define ROOT C:\Program Files (x86)\nxlog 

Moduledir %ROOT%\modules 
CacheDir %ROOT%\data 
Pidfile %ROOT%\data\nxlog.pid 
SpoolDir %ROOT%\data 
LogFile %ROOT%\data\nxlog.log 

<Extension json> 
    Module xm_json 
</Extension> 
<Input iis_1> 
     Module im_file 
     File "F:\inetpub\logs\LogFiles\W3SVC1\u_ex*.log" 
    ReadFromLast True 
    SavePos True 
    Exec if $raw_event =~ /^#/ drop(); 
</Input> 
<Input iis_2> 
     Module im_file 
     File "F:\inetpub\logs\LogFiles\W3SVC2\u_ex*.log" 
    ReadFromLast True 
    SavePos True 
    Exec if $raw_event =~ /^#/ drop(); 
</Input> 
<Input iis_4> 
     Module im_file 
     File "F:\inetpub\logs\LogFiles\W3SVC4\u_ex*.log" 
    ReadFromLast True 
    SavePos True 
    Exec if $raw_event =~ /^#/ drop(); 
</Input> 
<Input eventlog> 
     Module im_msvistalog 
     Exec $EventReceivedTime = integer($EventReceivedTime)/1000000; to_json(); 
</Input> 
<Output out_iis> 
    Module om_tcp 
    Host 10.191.132.86 
    Port 5555 
    OutputType LineBased 
</Output> 
<Route 1> 
    Path iis_1, iis_2, iis_4, eventlog=> out_iis 
</Route> 

Мой текущий logstash.conf

input { 
     tcp { 
       type => "iis" 
       port => 5555 
       host => "10.191.132.86" 
     } 
} 
filter { 
    if [type] == "iis" { 
     grok { 
      match => ["@message", "%{TIMESTAMP_ISO8601:timestamp} %{IPORHOST:hostip} %{WORD:method} %{URIPATH:page} %{NOTSPACE:query} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientip} %{NOTSPACE:useragent} %{NOTSPACE:referrer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:scstatus} %{NUMBER:timetaken}"] 
     } 
    } 
} 
output { 
    elasticsearch { 
    protocol => "http" 
     host => "10.191.132.86" 
     port => "9200" 
    } 
} 

Похоже, что вы можете выбирать различные данные, установив тип и делать, если тип еще этот тип. Но если они исходят из того же источника, как я могу указать разные типы?

:) Спасибо!

Answer 1

способ сделать это фильтр с известным входом записи в каждом журнале, а также не существует в другом, например, [cs_bytes и т.д.]:

например,

if [iisfield] { 
    mark type as IIS 
else 
    mark type as EventLog 
} 

Я написал IIS и журнала событий агента, который захватывает журналы для Logit.io они уже могут делать все, что вы уже хотите

Answer 2

NXLog устанавливает поле SourceModuleName со значением iis_1, iis_2 и т. д. Вместо этого вы можете использовать это.