Эффективный способ найти строку по списку

Question

Я новичок в написании сценариев и читал на Python около 6 недель. Нижеследующее предназначено для чтения файла журнала и отправки предупреждения, если найдено одно из ключевых слов, определенных в srchstring. Он работает так, как ожидалось, и не предупреждает о найденных ранее строках, как и ожидалось. Однако файл, обрабатывающий его, активно записывается приложением, а скрипт слишком медленный в файлах размером около 500 Мб. до 200 мб работает отлично, т. е. в течение 20 секунд. Может ли кто-нибудь предложить более эффективный способ поиска строки в файле на основе предварительно определенного списка?

import os 
srchstring = ["Shutdown", "Disconnecting", "Stopping Event Thread"] 

if os.path.isfile(r"\\server\\share\\logfile.txt"): 
with open(r"\\server\\share\\logfile.txt","r") as F: 
    for line in F: 
     for st in srchstring: 
      if st in line: 
       print line, 
       #do some slicing of string to get dd/mm/yy hh:mm:ss:ms 
       # then create a marker file called file_dd/mm/yy hh:mm:ss:ms 
       if os.path.isfile("file_dd/mm/yy hh:mm:ss:ms"): # check if a file already exists named file_dd/mm/yy hh:mm:ss:ms 
        print "string previously found- ignoring, continuing search" # marker file exists 
       else: 
        open("file_dd/mm/yy hh:mm:ss:ms", 'a') # create file_dd/mm/yy hh:mm:ss:ms 
        print "error string found--creating marker file sending email alert" # no marker file, create it then send email 

else: 
    print "file not exist" 

Answer 1

Предполагаю, что вы используете Linux. Если вы этого не сделаете, установите MinGW на Windows, и решение ниже также станет подходящим.

Просто оставьте твердую часть доступными наиболее эффективными инструментами. Отфильтруйте данные перед тем, как перейти к скрипту python. Используйте grep команду, чтобы получить строки, содержащие "Shutdown", "Disconnecting" или "Stopping Event Thread"

grep 'Shutdown\|Disconnecting\|"Stopping Event Thread"' /server/share/logfile.txt 

и перенаправлять строки в скрипт

grep 'Shutdown\|Disconnecting\|"Stopping Event Thread"' /server/share/logfile.txt | python log.py 

Edit: решение для Windows. Вы можете создать файл .bat, чтобы сделать его исполняемым.

findstr /c:"Shutdown" /c:"Disconnecting" /c:"Stopping Event Thread" \server\share\logfile.txt | python log.py 

В «log.py», читайте с stdin. Это файловый объект, поэтому никаких трудностей здесь нет:

import sys 

for line in sys.stdin: 
    print line, 
    # do some slicing of string to get dd/mm/yy hh:mm:ss:ms 
    # then create a marker file called file_dd/mm/yy hh:mm:ss:ms 
    # and so on 

Это решение уменьшит объем работы, которую должен выполнять ваш скрипт. Поскольку Python не является быстрым языком, он может ускорить выполнение задачи. Я подозреваю, что его можно переписать только в bash, и он будет еще быстрее (20 + лет оптимизации программы C - это не то, с чем вы легко конкурируете), но я не знаю, что такое bash.

Answer 2

Рефакторинг выражения поиска в предварительно скомпилированном регулярном выражении позволяет избежать (явного) внутреннего цикла.

import os, re 
regex = re.compile(r'Shutdown|Disconnecting|Stopping Event Thread') 

if os.path.isfile(r"\\server\\share\\logfile.txt"): 
    #Indentation fixed as per comment 
    with open(r"\\server\\share\\logfile.txt","r") as F: 
     for line in F: 
      if regex.search(line): 
       # ...