ANTLR4. Комментарии не поглотило лексер

Question

У меня есть следующие Antlr4 грамматика:

grammar Smarty; 

/* 
* Parser Rules 
*/ 

parse: smartyBody 
    ; 

smartyBody: include 
      | bodyText? 
      ; 

include: INCLUDE fileName CB 
      ; 

bodyText: BODY_TEXT 
     ; 

fileName: FILENAME 
     ; 
/* 
* Lexer Rules 
*/ 
COMMENT: '{*' .*? '*}'  -> skip; 

INCLUDE: '{include' SPACE+ 'file='?; 

BODY_TEXT: ANY_CHAR+; 

CB: SPACE? '}'; 

FILENAME: '\'' FILE_NAME '\'' 
    | '"' FILE_NAME '"'; 

SPACE: [ \t]; 
NEW_LINE: [\r\n]+   -> skip; 

fragment FILE_NAME: PATH_CHARACTERS+; 
fragment PATH_CHARACTERS: ~[\u0000-\u001f"*:<>?\\/|\u007f-\uffff]; 
fragment ANY_CHAR: [ -~]; 

Теперь, если я пытаюсь использовать комментарии, они передаются обратно и не проглочены.

Текст передается анализатору: {* {включаемый файл = «ххххх»} *} zzzzzzzz

Если я переопределить EnterBodyText и передать текстовую строку в парсер переменной Text в слушателе получить исходный текст, включая комментарии.

internal partial class BaseListener : SmartyBaseListener 
{ 
    public override void EnterBodyText(SmartyParser.BodyTextContext context) 
    { 
     var Text = context.BODY_TEXT().GetText(); 
     // Text gets: {* {include file='xxxxx'} *} zzzzzzzz 
     // not just zzzzzzzz 
    } 
} 

Любая помощь оценивается.

Answer 1

Лексер ANTLR постарается максимально соответствовать. Таким образом, вход {* {include file='xxxxx'} *} zzzzzzzz полностью совпадает с BODY_TEXT.

Одним из способов решения этой проблемы является сделать BODY_TEXT правила синтаксического анализа вместо:

body_text: ANY_CHAR+; 

... 

COMMENT: '{*' .*? '*}' -> skip; 

... 

// No fragment anymore. And keep this as the last lexer rule! 
ANY_CHAR: [ -~];