Flex/Bison: общий способ tokenize ключевых слов, разделенных пробелами/вкладками

Question

Я пишу программу, которая позволяет команду (в основном строку до новой строки), содержащую несколько параметров, разделенных пробелами.

Like: arg1 arg2 arg3 arg4 (\n) 

я могу использовать сам регулярное выражение для достижения этой цели, как показано ниже:

arg1[ \t]+ {return T_ARG1;} 
arg2[ \t]+ {return T_ARG2;} 
arg3[ \t]+ {return T_ARG3;} 
arg4[ \t]+ {return T_ARG4;} 

Но я не уверен, что это лучший способ сделать это, как это? Можете ли вы предложить общий способ использования Flex?

Примечание: Я также разрешаю команду, введенную через несколько строк, игнорируя шаблон [\\ n].

Answer 1

Важно ли, чтобы разделители были включены в лексему? Обычно это не так, и мы можем просто отказаться от какой-либо из сепараторов, оставляя маркеры для самих аргументов:

[ \t\n\r]+  ; /* Skip */ 
arg1  return T_ARG1; 
arg2  return T_ARG2; 
arg3  return T_ARG3; 
arg4  return T_ARG4; 

Answer 2

с использованием arg1[ \t]+ не является хорошей идеей, потому что вы возвращаете «грязный» token- нужного маркера с лишними пробелами, и вы можете захотеть удалить их позже (это означает больше разбора).

Помните, что прогибается жаден:

If it finds more than one match, it takes the one matching the most text (for trailing context rules, this includes the length of the trailing part, even though it will then be returned to the input). If it finds two or more matches of the same length, the rule listed first in the flex input file is chosen.

поэтому он будет пытаться соответствовать большой текст, и он будет рассматривать порядок шаблон только в случае длины равенства. Так что вам нужно расставить приоритеты арга, затем положить шаблон, который будет соответствовать остальным словам:

WHITESPACE [\t\n\r ] 
DIGIT   [0-9] 
LETTER  [a-zA-Z] 
%% 
arg1     return T_ARG1; 
arg2     return T_ARG2; 
arg3     return T_ARG3; 
arg4     return T_ARG4; 
(LETTER|DIGIT|[_])+ printf("error! unknown command\n"); 
WHITESPACE   ; 
%% 

Вы можете использовать [:digit:] или просто [0-9] вместо DIGIT я определена, см here для более стандартных выражений.