Учебник по суффиксу Token Suffix

Question

Может кто-нибудь указать на учебные пособия - «Деревья сухожилий токенов».

Answer 1

Из-за того, что эта же фраза и сканирование первых двух результатов, я предполагаю, что они говорят о дереве суффиксов, в котором «буквы» (или «символы» или «элементы») не являются отдельными ASCII или UNICODE, как мы привыкли, а скорее лексические жетоны с какого-то компьютерного языка.

Так, например, для C у вас будет «письмо» под названием int, а другое письмо - ( и т. д. Я точно не знаю, как обрабатывать токены, которые являются подпоследовательностями других токенов (например, + - это подпоследовательность ++), но я предполагаю, что они обрабатываются так же, как лексер с ними справляется, что (для C), всегда жадно создавая самый длинный токен (так, например, 5 входных символов +++++ будут введены как ++,, +).

Answer 2

Не уверен, что это то, что вы ищете, но ваш вопрос напоминает мне о том, что я знаю как «суффиксы деревьев на словах», например. http://www.larsson.dogma.net/words-alg.pdf