Являются ли токены подсчитаны после предварительной обработки или только в процессе предварительной обработки?

Question

Во время предварительной обработки мы обычно сканировать все macros, но я запутался немного, что делает препроцессор также генерирует маркеры, которые фактически принятые лексическим анализатором и дополнительно сканирует входной файл,

Я прошел через это , и упоминается, что токены предварительной обработки делятся на пять широких классов: идентификаторы, номера предварительной обработки, строковые литералы, пунктуаторы и т. Д., Так же как и токены, созданные во время предварительной обработки или нет?

Answer 1

Результат предварительной обработки - это поток токенов.

Большинство токенов создаются до фазы макрообмена, но при макрорасширении можно создавать новые маркеры с использованием операторов stringify() и токена-конкатената (##).

После предварительной обработки много токенов необходимо переанализировать, и возможно, что некоторые токены предварительной обработки не могут быть повторно проанализированы как действительные токены. Например, 2.3G является токеном для предварительной обработки, но он не соответствует ни одному действительному числовому токену. Это вызовет сообщение об ошибке.