Оптимизация поиска в linux

Question

У меня есть большой файл журнала размером до 3 ГБ.

Моя задача - генерировать некоторую отчетность, основанную на # раз, когда что-то регистрируется.

Мне нужно найти время, когда StringA, StringB, StringC вызывается отдельно.

Что я делаю прямо сейчас:

grep "StringA" server.log | wc -l 
grep "StringB" server.log | wc -l 
grep "StringC" server.log | wc -l 

Это длительный процесс, и мой сценарий занимает около 10 минут. Я хочу знать, может ли это быть оптимизировано или нет? Возможно ли запустить одну команду grep и узнать количество времени, когда StringA, StringB и StringC были вызваны индивидуально?

Answer 1

Конечно, этот подход может быть оптимизирован, так как grep не выполняет индексацию текста. Я бы использовал механизм индексации текста, например, один из них: this review или stackexchange QA. Также вы можете использовать journald из systemd, который хранит журналы в структурированном и индексированном формате, поэтому поисковые запросы более эффективны.

Answer 2

Так много greps так мало времени ... :-)

По David Lyness, прямой grep поиск примерно в 7 раз быстрее, чем в awk в больших поисках файлов.

Если это так, то нынешний подход может быть оптимизирован путем изменения grep к fgrep, но только если шаблонам разыскиваются являются не регулярных выражений. fgrep оптимизирован для фиксированных шаблонов.

Если количество экземпляров относительно невелико по сравнению с исходными записями файла журнала, это может быть улучшение использовать версию grepegrep создать временный файл, заполненный всеми тремя экземплярами:

egrep "StringA|StringB|StringC" server.log > tmp.log 
grep "StringA" tmp.log | wc -c 
grep "StringB" tmp.log | wc -c 
grep "StringC" tmp.log | wc -c 

Вариант egrepgrep позволяет использовать символ | (вертикальный бар/труба), который будет использоваться между двумя или более отдельными строками поиска, чтобы вы могли найти несколько строк в инструкции. Вы можете использовать grep -E, чтобы сделать то же самое.

Полная документация находится на странице man grep и информации о расширенных регулярных выражениях, которые egrep использует из команды man 7 re_format.

Answer 3

Вы можете использовать grep -c вместо wc -l:

grep -c "StringA" server.log 

grep не может сообщить количество отдельных строк. Вы можете использовать AWK:

out=$(awk '/StringA/{a++;} /StringB/{b++;} /StringC/{c++;} END{print a, b, c}' server.log) 

Затем вы можете извлечь каждый подсчет с помощью простого bash массива:

arr=($out) 
echo "StringA="${arr[0]} 
echo "StringA="${arr[1]} 
echo "StringA="${arr[2]} 

Это (grep без wc), безусловно, будет быстрее и, возможно, awk решение также быстрее ,Но я не измерил.