Как отобразить все местоимения в предложении и их лица с помощью Antlr

Question

EDITED по грамматике WayneH в

Вот что я имею в моем файле грамматики.

grammar pfinder; 

options { 
    language = Java; 
} 
sentence 
    : ((words | pronoun) SPACE)* ((words | pronoun) ('.' | '?')) 
    ; 

words 
    : WORDS {System.out.println($text);}; 

pronoun returns [String value] 
    : sfirst {$value = $sfirst.value; System.out.println($sfirst.text + '(' + $sfirst.value + ')');} 
    | ssecond {$value = $ssecond.value; System.out.println($ssecond.text + '(' + $ssecond.value + ')');} 
    | sthird {$value = $sthird.value; System.out.println($sthird.text + '(' + $sthird.value + ')');} 
    | pfirst {$value = $pfirst.value; System.out.println($pfirst.text + '(' + $pfirst.value + ')');} 
    | psecond {$value = $psecond.value; System.out.println($psecond.text + '(' + $psecond.value + ')');} 
    | pthird{$value = $pthird.value; System.out.println($pthird.text + '(' + $pthird.value + ')');}; 

sfirst returns [String value] : ('i' | 'me' | 'my' | 'mine') {$value = "s1";}; 
ssecond returns [String value] : ('you' | 'your'| 'yours'| 'yourself') {$value = "s2";}; 
sthird returns [String value] : ('he' | 'she' | 'it' | 'his' | 'hers' | 'its' | 'him' | 'her' | 'himself' | 'herself') {$value = "s3";}; 
pfirst returns [String value] : ('we' | 'us' | 'our' | 'ours') {$value = "p1";}; 
psecond returns [String value] : ('yourselves') {$value = "p2";}; 
pthird returns [String value] : ('they'| 'them'| 'their'| 'theirs' | 'themselves') {$value = "p3";}; 

WORDS : LETTER*;// {$channel=HIDDEN;}; 
SPACE : (' ')?; 
fragment LETTER : ('a'..'z' | 'A'..'Z'); 

и вот, с того, что я есть на тестовом ява класса

import java.util.Scanner; 
import org.antlr.runtime.*; 
import org.antlr.runtime.tree.*; 
import java.util.List; 

public class test2 { 
    public static void main(String[] args) throws RecognitionException { 
     String s; 
     Scanner input = new Scanner(System.in); 
     System.out.println("Eter a Sentence: "); 
     s=input.nextLine().toLowerCase(); 
     ANTLRStringStream in = new ANTLRStringStream(s); 
     pfinderLexer lexer = new pfinderLexer(in); 
     TokenStream tokenStream = new CommonTokenStream(lexer); 
     pfinderParser parser = new pfinderParser(tokenStream); 
     parser.pronoun(); 
    } 
} 

что мне нужно поставить в тестовый файл, так что он будет отображать все местоимения в предложении и их соответствующие значения (s1, s2, ...)?

Answer 1

фрагменты не создают токенов, а размещение их в правилах парсера не даст желаемых результатов.

На моем тестовом поле, это произвело (я думаю!) Желаемый результат:

program : 
     PRONOUN+ 
    ; 

PRONOUN : 
     'i' | 'me' | 'my' | 'mine' 
    | 'you' | 'your'| 'yours'| 'yourself' 
    | 'he' | 'she' | 'it' | 'his' | 'hers' | 'its' | 'him' | 'her' | 'himself' | 'herself' 
    | 'we' | 'us' | 'our' | 'ours' 
    | 'yourselves' 
    | 'they'| 'them'| 'their'| 'theirs' | 'themselves' 
    ; 

WS : ' ' { $channel = HIDDEN; }; 

WORD : ('A'..'Z'|'a'..'z')+ { $channel = HIDDEN; }; 

В Antlrworks, образец «я пнул вы» вернули структуру дерева: program -> [i, you].

Я чувствую себя вынужденным указать, что Antlr является излишним для снятия местоимений из предложения. Рассмотрим использование регулярного выражения. Эта грамматика не чувствительна к регистру. Расширение WORD, чтобы потреблять все, кроме словаря PRONOUN (например, puncuation и т. Д.), Может быть немного утомительным. Будет требоваться дезинфекция ввода.

--- Edit: В ответ на второй ОП:

• я переделал оригинальную грамматику, чтобы сделать легкость разбора. Новая грамматика:

  grammar pfinder; 
  
  options { 
      backtrack=true; 
      output = AST; 
  } 
  
  tokens { 
      PROGRAM; 
  } 
  
  program : 
       (WORD* p+=PRONOUN+ WORD*)* 
       -> ^(PROGRAM $p*) 
      ; 
  
  
  PRONOUN : 
       'i' | 'me' | 'my' | 'mine' 
      | 'you' | 'your'| 'yours'| 'yourself' 
      | 'he' | 'she' | 'it' | 'his' | 'hers' | 'its' | 'him' | 'her' | 'himself' | 'herself' 
      | 'we' | 'us' | 'our' | 'ours' | 'yourselves' 
      | 'they'| 'them'| 'their'| 'theirs' | 'themselves' 
  ; 
  
  WS : ' ' { $channel = HIDDEN; }; 
  
  WORD : ('A'..'Z'|'a'..'z')+; 
  

Я объясню изменения:

• Откат теперь требуется решить программу правил синтаксического анализа. Возможно, есть лучший способ написать его, который не требует возврата, но это первое, что появилось на мой взгляд.
• мнимый токен ПРОГРАММА определена для группировки наших местоимений.
• Каждая соответствующая программа добавляется в Antlr var $ p и переписывается в AST под воображаемым правилом.
• код переводчика теперь может использовать CommonTree для сбора совпавших местоимений

• написано на C# (я не знаю, Java), но я написал это с намерением, что вы будете иметь возможность читать и понимать следующее Это.

  static object[] ReadTokens(string text) 
  { 
      ArrayList results = new ArrayList(); 
      pfinderLexer Lexer = new pfinderLexer(new Antlr.Runtime.ANTLRStringStream(text)); 
      pfinderParser Parser = new pfinderParser(new CommonTokenStream(Lexer)); 
      // syntaxTree is imaginary token {PROGRAM}, 
      // its children are the pronouns collected by $p in grammar. 
      CommonTree syntaxTree = Parser.program().Tree as CommonTree; 
      if (syntaxTree == null) return null; 
      foreach (object pronoun in syntaxTree.Children) 
      { 
       results.Add(pronoun.ToString()); 
      } 
      return results.ToArray(); 
  } 
  

• Вызывающие ReadTokens ("я ударил вас и их") возвращает массив [ "я", "ты", "их"]

Answer 2

В случае, если вы пытаетесь сделать какой-то высокоуровневого анализа устного/письменного языка, вы можете использовать какой-то инструмент обработки естественного языка. Например, расскажет вам, какие элементы - местоимения (и глаголы, и существительные, и наречия, и другие эзотерические грамматические конструкции).(THT - единственный инструмент такого рода, с которым я знаком, поэтому не принимайте это как особое одобрение удивительности).

Answer 3

Я думаю, вам нужно узнать больше о правилах lexer в ANTLR, правила lexer начинаются с буквы верхнего регистра и генерируют токены для потока, на который будет смотреть парсер. Правила фрагмента Lexer не будут генерировать токен для потока, но помогут другим правилам lexer генерировать маркеры, просматривать правила lexer. СЛОВА И ПИСЬМО (ПИСЬМО не является токеном, но помогает СЛОВА создать токен).

Теперь, когда текстовый литерал помещается в правило анализатора (название правила начинается с строчной буквы), текстовый литерал также является допустимым маркером, который лексер будет идентифицировать и передать (по крайней мере, когда вы используете ANTLR-I не использовали никаких других инструментов, подобных ANTLR, чтобы отвечать за них).

Следующее, что я заметил, это то, что правила вашего '' и 'местоимения' выглядят одинаково. Я прокомментировал правило «s» и поместил все в правило «местоимения»

И последнее, что нужно узнать, как поместить действия в грамматик, у вас есть правило «s», устанавливающее возвращаемое значение , Я сделал правило местоимения верным строковым значением, так что, если вы хотите действия в правиле «предложения», вы легко сможете выполнить свой комментарий/ответ «-и местоимения».

Теперь, поскольку я не знаю, каковы ваши точные результаты, я играл с вашим грамматиком, делал некоторые небольшие изменения и реорганизовывал (перемещал то, что я считал правилом анализатора вверху, сохраняя все правила лексера внизу) и ставил в некоторых действиях, которые, я думаю, покажут вам, что вам нужно. Кроме того, может быть несколько различных способов сделать это, и я не думаю, что мое решение идеально подходит для любого из ваших возможно хотел результатов, но вот грамматику я смог работать в ANTLRWorks:

grammar pfinder; 

options { 
    language = Java; 
} 
sentence 
    : ((words | pronoun) SPACE)* ((words | pronoun) ('.' | '?')) 
    ; 

words 
    : WORDS {System.out.println($text);}; 

pronoun returns [String value] 
    : sfirst {$value = $sfirst.value; System.out.println($sfirst.text + '(' + $sfirst.value + ')');} 
    | ssecond {$value = $ssecond.value; System.out.println($ssecond.text + '(' + $ssecond.value + ')');} 
    | sthird {$value = $sthird.value; System.out.println($sthird.text + '(' + $sthird.value + ')');} 
    | pfirst {$value = $pfirst.value; System.out.println($pfirst.text + '(' + $pfirst.value + ')');} 
    | psecond {$value = $psecond.value; System.out.println($psecond.text + '(' + $psecond.value + ')');} 
    | pthird{$value = $pthird.value; System.out.println($pthird.text + '(' + $pthird.value + ')');}; 

//s returns [String value] 
// : exp=sfirst {$value = "s1";} 
// | exp=ssecond {$value = "s2";} 
// | exp=sthird {$value = "s3";} 
// | exp=pfirst {$value = "p1";} 
// | exp=psecond {$value = "p2";} 
// | exp=pthird {$value = "p3";} 
// ; 

sfirst returns [String value] : ('i' | 'me' | 'my' | 'mine') {$value = "s1";}; 
ssecond returns [String value] : ('you' | 'your'| 'yours'| 'yourself') {$value = "s2";}; 
sthird returns [String value] : ('he' | 'she' | 'it' | 'his' | 'hers' | 'its' | 'him' | 'her' | 'himself' | 'herself') {$value = "s3";}; 
pfirst returns [String value] : ('we' | 'us' | 'our' | 'ours') {$value = "p1";}; 
psecond returns [String value] : ('yourselves') {$value = "p2";}; 
pthird returns [String value] : ('they'| 'them'| 'their'| 'theirs' | 'themselves') {$value = "p3";}; 

WORDS : LETTER*;// {$channel=HIDDEN;}; 
SPACE : (' ')?; 
fragment LETTER : ('a'..'z' | 'A'..'Z'); 

Я думаю, что конечный результат заключается в том, что этот грамматик покажет вам, как выполнить то, что вы пытаетесь сделать, и потребует модификации независимо от того, что это за конечный результат.

Удачи.

Думаю, вам нужно изменить только одну строку в вашем тестовом классе, parser.pronoun(); : parser.sentence();

Возможно, вы захотите изменить еще несколько вещей в грамматике: SPACE: ''; предложение: (слова | местоимение) (ПРОСТРАНСТВО (слова | местоимение)) * ('.' | '?'); // тогда вы можете поставить правило между предложением и словами/местоимением.