Как реализовать строковый литерал C++ 0x?

Question

Как определить рабочий набор лексера и синтаксического анализатора (пример: gratia: flex и bison) для поддержки строковых литералов C++ 0x?

Как вы уже знаете, новые строковые литералы в C++ 0x могут быть выражены очень гибким способом.

R"<delim>...<delim>"; - в этом коде <delim> может быть почти всем, и не требуется никаких символов эвакуации.

Любой вид скобок может использоваться для разделения конца строки:

R"(I love those who yearn for the impossible. (Von Goethe, "Faust"))";

блоки текста могут быть просто определены с использованием одинаковых вхождений одинаковых символов:

R";***************************(
    ; TINY BASIC FOR INTEL 8080 
    ;  VERSION 2.0 
    ;  BY LI-CHEN WANG 
    ; MODIFIED AND TRANSLATED 
    ; TO INTEL MNEMONICS 
    ;  BY ROGER RAUSKOLB 
    ;  10 OCTOBER, 1976 
    ;  @COPYLEFT 
    ; ALL WRONGS RESERVED  ) 
    ;***************************"; 

Подробнее информацию можно найти here (wikipedia) и here (att).

Я хотел бы использовать эту фантастическую функцию на языке, который я сейчас разрабатываю.

Итак, как я могу определить правильный токенизатор и синтаксический анализатор для достижения результата?

Заранее благодарим за ответы!

Answer 1

Вы можете пропроцитировать литералы на этапе лексического анализа и превратить их в нечто вроде мета-токена.

Input: 
    int a; 
    char *b = R"...."; 

Preprocessed: 
    int a; 
    char *b = R*literal[0]*; 

Tokenized: 
    INT symbol[0] DELIM 
    CHAR OP_ASTR symbol[1] OP_EQ symbol[2] *literal[0]* DELIM 

Symbol table contents { "a", "b", "R" } 

Literal table contents { "...." } 

буквальным [0] является указателем исходного буквального текста.