Flex grammar производит ошибку: переполнение переполнения сканера

Question

Я работаю с грамматикой, использующей сторонний синтаксический анализ (iow: Tabs как разделители блоков). В грамматике используется отступы, чтобы отслеживать вложенные блоки и пытается обернуть блоки соответствующими маркерами закрытия, когда встречается EOF.

std::stack<int> indent_stack; 
int indent_size; 

%x indent 
%s normal 
%s wrap 

%% 

<wrap>[ ]  { 
        if(indent_stack.top() > 0) 
        { 
         indent_stack.pop(); 
         if(indent_stack.top() > 0) unput(' '); 
         return DEDENT; 
        } 
        else 
         yyterminate(); 
       } 

<<EOF>>   { 
        if(indent_stack.top() > 0) 
        { 
         BEGIN(wrap); 
         unput(' '); 
        } 
        else 
         yyterminate(); 
       } 

<indent>[\t] {indent_size++;} 
<indent>[\n] {indent_size = 0;} 

<indent>.  { 
        unput(*yytext); 
        if(indent_size > indent_stack.top()) 
        { 
         indent_stack.push(indent_size); 
         yytext[0] = '\0'; 
         return INDENT; 
        } 
        else if(indent_size < indent_stack.top()) 
        { 
         indent_stack.pop(); 
         yytext[0] = '\0'; 
         return DEDENT; 
        } 
        else 
        { 
         BEGIN(normal); 
        } 
       } 
/* And so begin <normal> rules. */ 

На первый взгляд, эта грамматика появляется работать, когда лексическая входной файл: yyin = fopen(...).

Однако, когда я пытаюсь ввести строку ввода: state = yy_scan_string(...), первый звонок yylex вылетает с ошибкой flex scanner push-back overflow.

Answer 1

(Answered in the comments)

@Malcolm Роу писал:

I assume what you're asking is "how do I do what I want without it failing?", which I don't know the answer to. But if you're asking what the error means, it's in the Flex manual. "‘flex scanner push-back overflow’: you used unput() to push back so much text that the scanner's buffer could not hold both the pushed-back text and the current token in yytext. Ideally the scanner should dynamically resize the buffer in this case, but at present it does not."

Как вы работаете в системных ограничений, я подозреваю, что это так хорошо, ответ, как можно сделать в данный момент.

Answer 2

Проверьте, нет ли у вас рекурсивного определения любого токена в файле Lex. Ошибка просто предполагает, что встроенный буфер lex не может удерживать выражения токенов. Вы получаете ошибку при компиляции своего парсера?

Answer 3

Трудно сказать, без кода, но моя интуиция указывает на <<EOF>> правило: когда

(indent_stack.top() > 0) 

Вы unput -ную в бесконечном цикле: EOF всегда остается правдой, и НАЧАТЬ (wrap) (wrap является включенным начальным условием без <<EOF>>), кажется, ничего не делает в этом контексте.

Есть очень легко иметь бесконечные циклы в правилах <<EOF>>, когда у нас есть ветви без предложений yyterminate, yyaccept, return or like.