Найти шаблон в текстовом файле из нескольких элементов в нескольких списках?

Question

Я новичок, изучаю python в течение нескольких месяцев как мой самый первый язык программирования. Я ищу, чтобы найти шаблон из текстового файла. Моя первая попытка была с помощью регулярных выражений, который делает работу, но имеет ограничение:

import re 

noun_list = ['bacon', 'cheese', 'eggs', 'milk', 'list', 'dog'] 
CC_list = ['and', 'or'] 

noun_list_pattern1 = r'\b\w+\b,\s\b\w+\b,\sand\s\b\w+\b|\b\w+\b,\s\b\w+\b,\sor\s\b\w+\b|\b\w+\b,\s\b\w+\b\sand\s\b\w+\b|\b\w+\b,\s\b\w+\b,\saor\s\b\w+\b' 

with open('test_sentence.txt', 'r') as input_f: 
    read_input = input_f.read() 
    word = re.findall(noun_list_pattern1, read_input) 
    for w in word: 
     print w 
else: 
    pass 

Так что на данный момент вы можете спросить почему списки в этом коде, так как они не используются. Ну, я выхожу из своих мозгов, пытаясь разобраться в циклах, и если инструкции в функциях пытаются найти причину для репликации шаблона регулярного выражения, но с использованием списков.

Ограничение с помощью регулярного выражения состоит в том, что код \b\w+\w\, который содержится несколько раз в `noun_list_pattern ', фактически находит слова - любые слова - но не конкретные существительные. Это может вызвать ложные срабатывания. Я хочу еще больше сузить вещи, используя элементы в списке выше, а не в регулярном выражении.

Так как у меня на самом деле есть 4 разных регулярных выражения в шаблоне регулярных выражений (он содержит 4 |), я просто отправлюсь с 1 из них здесь. Таким образом, я должен был бы найти модель, такие как:

'noun in noun_list' + ', ' + 'noun in noun_list' + ', ' + 'C in CC_list' + ' ' + 'noun in noun_list

Очевидно, что приведенный выше код цитировал строки не реальный код питона, но это experession моих мыслей о матче необходимо. Где я говорю noun in noun_list Я имею в виду итерацию через noun_list; C in CC_list - итерация через CC_list; , - это буквальное совпадение строк для запятой и пробелов.

Надеюсь, я убедился!

Вот содержимое файла test_sentence.txt, что я использую:

I need to buy are bacon, cheese and eggs. 
I also need to buy milk, cheese, and bacon. 
What's your favorite: milk, cheese or eggs. 
What's my favorite: milk, bacon, or eggs. 

Answer 1

Разбейте вашу проблему немного вниз. Во-первых, вам нужен шаблон, который будет соответствовать словам из вашего списка, но никому другому. Вы можете выполнить это с помощью оператора чередования | и буквальных слов. red|green|blue, например, будет соответствовать "red", "green", или "blue", но не "purple". Регистрация списка существительного с этим персонажем, и добавить слово краевых метасимволов со скобками для группы чередований:

noun_patt = r'\b(' + '|'.join(nouns) + r')\b' 

сделать то же самое для вашего списка конъюнкций:

conj_patt = r'\b(' + '|'.join(conjunctions) + r')\b' 

В целом матч вы хотите сделать «один или несколько совпадений noun_patt, каждый из которых может сопровождаться запятой, после чего следует соответствие для conj_patt, а затем еще один noun_patt совпадение». Легко достаточно для регулярных выражений:

patt = r'({0},?)+{1} {0}'.format(noun_patt, conj_patt) 

Вы действительно не хотите использовать re.findall(), но re.search(), так как вы ожидаете только один матч в каждой строке:

for line in lines: 
...  print re.search(patt, line).group(0) 
... 
bacon, cheese and eggs 
milk, cheese, and bacon 
milk, cheese or eggs 
milk, bacon, or eggs 

Как примечание, вы» re близко к, если не потирать, пределы регулярных выражений, поскольку синтаксический анализ английского языка. Все более сложное, чем это, и вы захотите изучить фактический синтаксический анализ, возможно, с помощью NLTK.

Answer 2

На самом деле вам не обязательно нужны регулярные выражения, так как существует несколько способов сделать это, используя только ваши исходные списки.

noun_list = ['bacon', 'cheese', 'eggs', 'milk', 'list', 'dog'] 
conjunctions = ['and', 'or'] 

#This assumes that file has been read into a list of newline delimited lines called `rawlines` 
for line in rawlines: 
    matches = [noun for noun in noun_list if noun in line] + [conj for conj in conjunctions if conj in line] 
    if len(matches) == 4: 
     for match in matches: 
      print match 

Причина, по которой номер матча равен 4, состоит в том, что 4 - правильное количество совпадений. (Обратите внимание, что это также может иметь место для повторных существительных или союзов).

EDIT:

Эта версия печатает строки, которые подбираются и слова совпавшие. Также исправлена ​​возможная множественная проблема соответствия слова:

words_matched = [] 
matching_lines = [] 

for l in lst: 
    matches = [noun for noun in noun_list if noun in l] + [conj for conj in conjunctions if conj in l] 
    invalid = True 
    valid_count = 0 
    for match in matches: 
     if matches.count(match) == 1: 
      valid_count += 1 
    if valid_count == len(matches): 
     invalid = False 

    if not invalid: 
     words_matched.append(matches) 
     matching_lines.append(l) 

for line, matches in zip(matching_lines, words_matched): 
    print line, matches 

Однако, если это вас не устраивает, вы всегда можете построить регулярное выражение следующим образом (с помощью itertools модуля):

#The number of permutations choices is 3 (as revealed from your examples) 
for nouns, conj in itertools.product(itertools.permutations(noun_list, 3), conjunctions): 
    matches = [noun for noun in nouns] 
    matches.append(conj) 
    #matches[:2] is the sublist containing the first 2 items, -1 is the last element, and matches[2:-1] is the element before the last element (if the number of nouns were more than 3, this would be the elements between the 2nd and last). 
    regex_string = '\s,\s'.join(matches[:2]) + '\s' + matches[-1] + '\s' + '\s,\s'.join(matches[2:-1]) 
    print regex_string 
    #... do regex related matching here 

Оговорки из этого метода заключается в том, что он является чистой грубой силой, поскольку он генерирует все возможные комбинации (считывание перестановок) обоих списков, которые затем могут быть протестированы, чтобы увидеть, соответствует ли каждая строка. Следовательно, он ужасно медленный, но в этом примере, который соответствует указанным (не запятая перед конъюнкцией), этот точно сгенерирует точные соответствия.

Адаптировать при необходимости.