Почему и как `a +++ b` интерпретируется как` (a ++) + b`, а не `a + (++ b)`?

Question

Как лексер/токенизатор компилятора «имеет смысл» из: a+++b? как в:

int a=0,b=0,x=0; 
x = a+++b; 

Я предполагаю, что он использует некоторые suffix tree, может быть generalized suffix tree, но если это так, то почему больше маркер (++) интерпретируется перед коротким (+), а не наоборот? Значение почему это интерпретируется как:

(a++) + b 

и не:

a + (++b) 

?

Мне нужно написать какой-то токенизатор самостоятельно и задавался вопросом об этом.

Answer 1

Языковые дизайнеры знают о двусмысленности, подобной этому, и вне закона «неправильный случай» в справочном руководстве.

Для лексера это довольно просто: выберите самую длинную лексическую лексему. При столкновении с «++» и «+» выберите «++». Большинство генераторов lexer реализуют эту политику напрямую, и нетрудно сделать это в ручном кодексе, потому что вы должны проверить возможность второй «+» в любом случае после того, как увидите первый.

Answer 2

Лексер обычно жадный, это означает, что если токен может соответствовать строке, большей, чем другая строка, также соответствующая другому (или тому же) токену, она будет соответствовать большей строке.

В этом примере лексер будет сначала соответствовать символу «a» и считать, что «идентификаторы» (или «переменная») являются потенциальным токеном (также любой другой токен, который может начинаться с буквы, например «абстрактная») или «как»), после чего лексер будет читать следующий символ («+»), а как + не может быть и идентификатор, и не «абстрактный» ни «как», он прекратит поиск кандидата для «a», и обозначить его как идентификатор.

после этого он имеет символ «+» в качестве текущего символа и думает о возможных токенах, соответствующих этому («+», «++», «+ =»), из-за «жадности» лексер пытается продолжайте со следующего символа и получите следующий «+», поэтому он приходит к выводу, что единственным токеном, который может соответствовать, является «++» (если «+++» был действительным маркером, лексер должен отказаться, если следующий символ - это +)

Следующий шаг принимает следующий символ (снова «+») и думает о возможных маркерах («+», «++», «+ =»), он примет следующий символ («b»)), а как «+ b» не является потенциальным префиксом любого токена, он определяет, что следующий токен «+».

Затем он продолжает использовать «b» (потенциальный идентификатор или любое стартовое ключевое слово b («base», «bool», «break», «byte»), но при чтении следующего символа («;») лексер определяет, что является идентификатором

поэтому лексеров произвести следующие маркеры

идентификатор ++ + идентификатор;.