pyparsing ambiguity

Question

Я пытаюсь разобрать текст с помощью PyParser. Проблема в том, что у меня есть имена, которые могут содержать пробелы. Поэтому мой вклад может выглядеть так. Во-первых, список имен:

Joe 
bob 
Jimmy X 
grjiaer-rreaijgr Y 

Затем, что они делают:

Joe A 
bob B 
Jimmy X C 

проблема, конечно, является то, что вещь, они могут быть такими же, как в конце названия:

Jimmy X X 
grjiaer-rreaijgr Y Y 

Как создать парсер для строк действий? Выход синтаксического анализа Joe A должен быть [Joe, A]. Выход синтаксического анализа Jimmy X C должен быть [Jimmy X, C], Jimmy X X - [Jimmy X, X]. То есть, [name, action] пар.

Если я создаю мое имя парсер наивность, что означает что-то вроде OneOrMore(RegEx("\S*")), то это будет соответствовать всей линии дает мне [Jimmy X X] следует ошибки синтаксического анализа для не видя действия (так как он был уже потребляется имя парсер).

ПРИМЕЧАНИЕ: Извините за неоднозначную формулировку ранее, что сделало это похожим на вопрос о НЛП.

Answer 1

Весело:

from pyparsing import Regex, oneOf 

THE_NAMES = \ 
"""Joe 
bob 
Jimmy X 
grjiaer-rreaijgr Y 
""" 

THE_THINGS_THEY_DO = \ 
"""Joe A 
bob B 
Jimmy X C 
Jimmy X X 
grjiaer-rreaijgr Y Y 
""" 

ACTION = Regex('.*') 
NAMES = THE_NAMES.splitlines() 
print NAMES 
GRAMMAR = oneOf(NAMES) + ACTION  
for line in THE_THINGS_THEY_DO.splitlines(): 
    print GRAMMAR.parseString(line) 

Answer 2

Вы в значительной степени нуждаетесь в более простом синтаксическом анализаторе. Парсеры используют символы в строке, чтобы определить, какие фрагменты строки представляют разные элементы грамматики. Вот почему FM попросил какую-то подсказку, чтобы указать, как вы знаете, какая часть является именем, а какая часть остальной части предложения. Если бы вы могли сказать, что имена состоят из одного или нескольких заглавных слов, тогда синтаксический анализатор будет знать, когда имя прекратится, а остальная часть предложения начнется.

Но такое имя, как «jimmy foo decides»? Как может парсер знать только, глядя на символы в «решает», «решает» это или не является частью имени? Даже человек, читающий ваше предложение «jimmy foo решает, что есть», будет иметь определенные проблемы с определением, где начинается или останавливается имя, и является ли это какой-то опечаткой.

Если ваш ввод действительно непредсказуем, вам необходимо использовать такой инструмент, как NLTK (Natural Language Toolkit). Я не использовал его сам, но он подходит к этой проблеме с точки зрения разбора предложений на языке, в отличие от попытки разобрать структурированные данные или математические форматы.

Я бы не рекомендовал pyparsing для такого рода интерпретации языка.

Answer 3

Похож, что вам нужно nltk, а не pyparsing. Похоже, вам нужна трудоемкая проблема. Как вы знаете, как разбирать «Джимми фью решает решает есть»? Какие правила вы используете для вывода (вопреки тому, что большинство людей предположили бы), что «решает, решает» это не опечатка?

Re "имена, которые могут содержать пробелы": Во-первых, я надеюсь, что вы нормализуете это в одном пространстве. Во-вторых: это неожиданно? В-третьих: имена могут содержать апострофы и дефисы (O'Brien, Montagu-Douglas-Scott) и могут содержать компоненты, которые не капитализируются, например. Georg von und zu Hohenlohe), и мы не будем упоминать Unicode.