ANTLR лексер не LOOKAHEAD на всех

Question

У меня есть следующая грамматика:

rule: 'aaa' | 'a' 'a'; 

Он может успешно разбирать строку «ааа», но он не может разобрать «аа» со следующей ошибкой:

line 1:2 mismatched character '<EOF>' expecting 'a' 

FYI, это проблема лексера, а не парсер, потому что я даже не называю синтаксический анализатор. Основная функция выглядит следующим образом:

@members { 
    public static void main(String[] args) throws Exception { 
    RecipeLexer lexer = new RecipeLexer(new ANTLRInputStream(System.in)); 
    for (Token t = lexer.nextToken(); t.getType() != EOF; t = lexer.nextToken()) 
     System.out.println(t.getType()); 
    } 
} 

результат тот же с более очевидной версии:

rule: AAA | A A; 
AAA: 'aaa'; 
A: 'a'; 

Очевидно, что ANTLR лексер пытается соответствовать входному «аа» с правилом AAA, который терпит неудачу. Кроме того, ANTLR является парсером LL (*) или что-то еще, лексер должен работать отдельно от анализатора, и он должен иметь возможность разрешать двусмысленность. Грамматика отлично работает с хорошим старым lex (или flex), но это не похоже на ANTLR. Так в чем проблема?

Спасибо за помощь!

Answer 1

Созданные парсером ANTLR являются (или могут быть) LL (*), а не его лексеры.

Когда лексический видит вход "aa", он пытается соответствовать лексема AAA. Когда он этого не делает, он пытается сопоставить любой другой токен, который также соответствует "aa" (лексер не возвращается к A!). Поскольку это невозможно, возникает ошибка.

Это обычно не проблема, так как на практике часто бывает какое-то правило идентификатора "aa". Итак, какова реальная проблема, которую вы пытаетесь решить, или вы только любопытствовали о внутренней работе? Если это первый, отредактируйте свой вопрос и опишите свою актуальную проблему.