Сохранять пробелы между тегами

Question

Я не уверен, что не так в грамматике ниже, был бы признателен за любую помощь. Я упростил запрос для цели ответа, но попытался получить ключевое слово поиска без пробелов, в свою очередь, я вернул строку, но все пробелы удалены. Например, если я передаю свой поисковый запрос как «Лучшая покупка», я получаю BestBuy взамен.

Ниже упрощенной грамматикой, я хочу, чтобы извлечь точные слова/фразы, которая включает пробелы, запятая и т.д., указанный в блоке ключевых слов

Поиск Синтаксис

СЛОВО = [Best Buy] // хотите сохранить пробел между [и]

identlit : RESKEYWORD OPERATOR keywordidentifier ; 
keywordidentifier : '[' (~']') * ']'; 
RESKEYWORD: K E Y W O R D; 
OPERATOR: [=] ; 
WS : [ \t\r\n]+ -> skip ; // skip spaces, tabs, newlines 

Пробовал другую версию грамматики, но тот же вопрос

identlit : RESKEYWORD OPERATOR '[' keywordidentifier ']'; 
keywordidentifier : KEYWORDID*;   
KEYWORDID : [a-zA-Z0-9]+ ;  // match identifiers 
RESKEYWORD: K E Y W O R D; 
OPERATOR: [=] ; 
WS : [ \t\r\n]+ -> skip ; // skip spaces, tabs, newlines 

Answer 1

Я не уверен, что именно вы просите, но до того, как я понял, при написании вашего регулярного выражения '\ s' в regex. \ s для белого пространства, например: [a-za-Z0-9 \ s]

Answer 2

Это действительно не так сложно все вытащить. Вы можете использовать свою грамматику для анализа ввода. Пробелы пропускаются в соответствии с вашим правилом lexer WS. Однако, чтобы восстановить исходный вход, вы можете использовать сгенерированные токены, которые содержат индекс в поток входных токенов. Используйте их для поиска входного потока в нужное положение, а затем итерации по всем следующим маркерам (независимо от канала), пока не найдете окончательный токен (например, «['и']»). Таким образом, вы получаете именно то, что было подано.