ANTLR4 Режимы lexer RegEx

Question

Я работаю над парсером Regx для RegEx внутри XSD. Моя предыдущая проблема была описана здесь: ANTLR4 parsing RegEx

С тех пор я расколол Lexer и Parser. Теперь у меня проблема с анализом скобок внутри скобок. Их следует рассматривать как символы внутри скобок и как группировать токены снаружи. Это моя лексер грамматика:

lexer grammar RegExLexer; 

Char : ALPHA ; 
Int  : DIGIT ; 

LBrack : '[' ;//-> pushMode(modeRange) ; 
RBrack : ']' ;//-> popMode ; 
LBrace : '(' ; 
RBrace : ')' ; 
Semi : ';' ; 
Comma : ',' ; 
Asterisk: '*' ; 
Plus : '+' ; 
Dot  : '.' ; 
Dash : '-' ; 
Question: '?' ; 
LCBrace : '{' ; 
RCBrace : '}' ; 
Pipe : '|' ; 
Esc  : '\\' ; 

WS : [ \t\r\n]+ -> skip ; 

fragment DIGIT : [0-9] ; 
fragment ALPHA : [a-zA-Z] ; 

И вот пример:

[0-9a-z()]+ 

Я чувствую, что я должен использовать режимы на скобки, чтобы изменить поведение ALPHA фрагмента. Если я скопирую фрагмент, я получаю сообщение о том, что не могу иметь объявление дважды. Я прочитал ссылку об этом, и я до сих пор не понимаю, что я должен делать.

Как реализовать режимы?

Answer 1

Вам придется обрабатывать это в парсере, а не лексере. Когда lexer видит '(', он вернет токен LBrace.Для lexer нет никакого контекста относительно того, где токен просматривается, он просто выдает ввод в токены. Вам нужно будет определить правила синтаксического разбора и при обработке дерева синтаксического анализа, то вы можете определить, был LBrace внутри скобок или не

Answer 2

Вот краткий демо о том, как можно создать контекстную лексера, используя лексические-режимы ANTLR4 в:.

lexer grammar RegexLexer; 

START_CHAR_CLASS 
: '[' -> pushMode(CharClass) 
; 

START_GROUP 
: '(' 
; 

END_GROUP 
: ')' 
; 

PLAIN_ATOM 
: ~[()\[\]] 
; 

mode CharClass; 

END_CHAR_CLASS 
: ']' -> popMode 
; 

CHAR_CLASS_ATOM 
: ~[\r\n\\\]] 
| '\\' . 
; 

После создания лексера, вам может использовать следующий класс для испытания:

import org.antlr.v4.runtime.ANTLRInputStream; 
import org.antlr.v4.runtime.Token; 

public class Main { 
    public static void main(String[] args) { 
     RegexLexer lexer = new RegexLexer(new ANTLRInputStream("([()\\]])")); 
     for (Token token : lexer.getAllTokens()) { 
      System.out.printf("%-20s %s\n", RegexLexer.VOCABULARY.getSymbolicName(token.getType()), token.getText()); 
     } 
    } 
} 

И если вы запустите этот главный класс, происходит некорректно будет выводиться на консоль:

START_GROUP   (
START_CHAR_CLASS  [ 
CHAR_CLASS_ATOM  (
CHAR_CLASS_ATOM  ) 
CHAR_CLASS_ATOM  \] 
END_CHAR_CLASS  ] 
END_GROUP   ) 

Как вы можете видеть, ( и ) являются лексемы по-разному вне символьного класса, поскольку они находятся внутри него.