ANTLR-грамматика для многоуровневой текстовой сегментации

Question

Я хочу создать грамматику, которая будет анализировать текстовый файл и создавать дерево уровней в соответствии с настраиваемыми «сегментаторами». Это то, что я создал до сих пор, это своего рода работа, но остановится, когда в начале текста появится «segmentor». Например, текст «и местоположение» не будет разбираться. Есть идеи?

Кроме того, я вполне уверен, что грамматика может быть значительно улучшена, поэтому любые предложения приветствуются.

grammar DocSegmentor; 

@header { 
package segmentor.antlr; 
} 

// PARSER RULES 
levelOne: (levelTwo LEVEL1_SEG*)+ ; 

levelTwo: (levelThree+ LEVEL2_SEG?)+ ; 
levelThree: (levelFour+ LEVEL3_SEG?)+ ; 
levelFour: (levelFive+ LEVEL4_SEG?)+ ; 
levelFive: tokens; 

tokens: (DELIM | PAREN | TEXT | WS)+ ; 


// LEXER RULES 
LEVEL1_SEG : '\r'? '\n'| EOF ; 
LEVEL2_SEG : '.' ; 
LEVEL3_SEG : ',' ; 
LEVEL4_SEG : 'and' | 'or' ; 

DELIM : '`' | '"' | ';' | '/' | ':' | '’' | '‘' | '=' | '?' | '-' | '_'; 
PAREN : '(' | ')' | '[' | ']' | '{' | '}' ; 

TEXT : (('a'..'z') | ('A'..'Z') | ('0'..'9'))+ ; 
WS  : [ \t]+ ; 

Answer 1

Я обязательно поеду с библиотекой комбинаторов синтаксиса Scala.

https://lihaoyi.github.io/fastparse/ https://github.com/scala/scala-parser-combinators

Это лишь два примера для библиотеки можно писать вручную с небольшим усилием и настроиться на то, что вам нужно. Я должен упомянуть, что вы должны пойти с Scalaz (https://github.com/scalaz/scalaz), если вы пишете монаршу синтаксического анализа самостоятельно.

Answer 2

Я бы не использовал синтаксический анализатор для этой задачи. Все, что вам нужно, - это определение ключевых слов.

Это намного проще и гибче, если вы просто просматриваете текст для «сегментаторов», прогуливаясь по входу. Это также позволяет обрабатывать текст любого размера (например, с помощью файлов с отображением памяти), в то время как парсеры обычно (ANTLR наверняка) загружают весь текст в память и полностью его токенируют, прежде чем приступать к разбору.