sqlite-fts3: пользовательский токенизатор?

Question

У кого-нибудь есть опыт работы с написанием пользовательских FTS3 (расширений полнотекстового поиска) токенизаторов? Я ищу токенизатор, который будет игнорировать теги HTML.

Спасибо.

Answer 1

У меня нет прямого опыта, но, проведя поиск в Интернете с помощью «sqlite3 registerTokenizer», я нашел два токенизатора, которые могут быть использованы в качестве основы: a snowball tokenizer и a MeCab tokenizer.