Как обрабатывать пробелы в лексере, реализованные как конечные автоматы?

Question

Я создал lexer для одного простого языка программирования. Теперь вместо регулярных выражений (RegEx в Java) я использую детерминированные конечные автоматы. Автоматы отлично работают, за исключением того, что он не будет сообщать об ошибке, например, если бы у меня были модульные модули (оба модуля и облака - это ключевые слова) в исходном коде. Вместо этого он создавал бы два токена KW_MODULE и KW_CLOUDS. Можно утверждать, что я мог бы смотреть в будущее на пробел, если автоматы находятся в конечном состоянии для KW_MODULE. Но это не решило бы проблему, потому что на языке я мог бы иметь что-то вроде 8-6 (не разделенное белыми пробелами), которое правильно переводилось бы в токены INT DASH INT.

Я знаю, что это не хорошая идея для обработки белых пространств в грамматике анализатора.

Мои автоматы реализованы как матрица (строки - это состояния, а столбцы - символы из алфавита, ячейки - состояния перехода). Когда автоматы идут в конечном состоянии, я возвращаю автоматы, чтобы начать с начала.

Я считаю, проблема в том, что этот язык программирования не использует полуколоны. Например:

модуль; облака;

вместо этого используется белое пространство для разделения линий: модуль облака

спасибо заранее.

С уважением.

Answer 1

FWIW, синтаксические анализаторы, с которыми я работал, справляются с этой проблемой, требуя, чтобы ключевые слова также были правильными идентификаторами, как определено в грамматике.

Так, например, если у вас есть идентификаторы, определенные как символ, необязательно сопровождаемый большим количеством символов или цифр, любое ключевое слово также должно вписываться в эту форму. Лексер тогда рассматривает только токен как потенциальное ключевое слово, если оно уже было классифицировано как идентификатор.

Мне было бы интересно услышать, как другие справляются с этой проблемой.