Подсчитайте наиболее распространенные вхождения неизвестных строк в файл

Question

У меня есть большой файл, полный линий, как это ...

19:54:05 10.10.8.5 [SERVER] Response sent: www.example.com. type A by 192.168.4.5 
19:55:10 10.10.8.5 [SERVER] Response sent: ns1.example.com. type A by 192.168.4.5 
19:55:23 10.10.8.5 [SERVER] Response sent: ns1.example.com. type A by 192.168.4.5 

Я не заботиться о каком-либо других данных, только то, что после того, как «response sent:» Мне нужен отсортированный список наиболее распространенных вхождений доменных имен. Проблема в том, что я не буду знать все имена доменов заранее, поэтому я не могу просто выполнить поиск строки.

Используя пример выше, я хотел бы выход быть вдоль линий

ns1.example.com (2) 
www.example.com (1) 

... где число в скобках() отсчеты этого события.

Как я могу использовать это для Windows? Входной файл - .txt - выходной файл может быть любым. В идеале это процесс командной строки, но я действительно потерялся, поэтому я был бы доволен чем угодно.

Answer 1

Кошка из своего мешка, поэтому попробуйте немного помочь. Это решение PowerShell. Если у вас возникли проблемы с тем, как это работает, я рекомендую вам исследовать отдельные части.

Если вы текстовый файл был «D: \ temp \ test.txt», тогда вы можете сделать что-то вроде этого.

$results = Select-String -Path D:\temp\test.txt -Pattern "(?<=sent:).+(?= type)" | Select -Expand Matches | Select -Expand Value 
$results | Group-Object | Select-Object Name,Count | Sort-Object Count -Descending 

Использование входа вы получите для вывода

Name    Count 
----    ----- 
ns1.example.com.  2 
www.example.com.  1 

Поскольку существует регулярное выражение я спасенный link that explains how it works.

Пожалуйста, имейте в виду, что SO - это, конечно же, сайт, который помогает программистам и энтузиастам по программированию. Мы посвящаем наше свободное время, когда некоторым людям платят за это.

Answer 2

Можете ли вы сделать это на PHP?

<?php 
$lines = file($filename, FILE_IGNORE_NEW_LINES); 

foreach($lines as $value) { 
    $arr = explode(' ', $value); 
    $domainarr[] = $arr[5]; 
} 

$occurence = array_count_values($domainarr); 

print_r($occurence); 
?> 

Answer 3

Это в пакете:

@echo off 
setlocal enabledelayedexpansion 
if exist temp.txt del temp.txt 
for /f "tokens=6" %%a in (input.txt) do (Echo %%a >> temp.txt) 
for /f %%a in (temp.txt) do (
set /a count=0 
set v=%%a 
if "!%%a!" EQU "" (
for /f %%b in ('findstr /L "%%a" "temp.txt"') do set /a count+=1 
set %%a=count 
Echo !v:~0,-1! ^(!count!^) 
) 
) 
del temp.txt 

В настоящее время она выводит его на экран.Если вы хотите, чтобы перенаправить его в текстовый файл заменить:

Echo !v:~0,-1! ^(!count!^) 

с:

Echo !v:~0,-1! ^(!count!^) >> output.txt 

Это выводимый:

www.example.com (1) 
ns1.example.com (2) 

С данным выборочных

Answer 4

Этот пакетный файл решение должно работать быстрее:

@echo off 
setlocal 

rem Accumulate each occurance in its corresponding array element 
for /F "tokens=6" %%a in (input.txt) do set /A "count[%%a]+=1" 

rem Show the result 
for /F "tokens=2,3 delims=[]=" %%a in ('set count[') do echo %%a (%%b) 

Выход:

ns1.example.com. (2) 
www.example.com. (1) 

Чтобы сохранить результат в файл, измените последнюю строку этого один:

(for /F "tokens=2,3 delims=[]=" %%a in ('set count[') do echo %%a (%%b^)) > output.txt