SQlite FTS сжать размер «текстового» номера столбца

Question

У меня есть таблица FTS 3 на устройстве Android. Один из столбцов в таблице содержит массивы 32-разрядных чисел в текстовом формате. Я использую FTS, потому что FTS сравнительно чрезвычайно быстро обнаруживает уникальные значения, учитывая его индексную систему.

Единственным недостатком является то, что 32-разрядное число может принимать 10-11 символов ascII для размещения в таблице (например, 1234567890). Это составляет 4 байта в количестве 10-11 байт ascII, существенно увеличивая размер до 250% оригинала, не говоря уже о том же значении, которое также затухает в индексе, для чего я оценил увеличение на 500%.

Я понял, что могу сжать число, превратив его в уникальную комбинацию буквенно-цифровых символов.

E.g.

• простой токенизатор распознает 26 букв (a-Z), преобразует прописные в строчные буквы.
• также распознает 10 номеров (0-9)

, что дает мне начать 36 комбинаций на байты для работы.

Это означает, что я мог бы сжать до диапазона 36^6 = 2,17 млрд. С 6 символами (достаточно, чтобы сжать положительный диапазон 32-битного целого числа). Или весь диапазон (положительный и отрицательный) с 7 символами. Снижение на 30%.

Но простой токенизатор также распознает символы Unicode с кодовыми точками> = 128. Это означает, что я мог пропускать буквенно-цифровые символы, в пользу символов Unicode для сжатия.

Предполагая, что указатель распознал каждую кодовую точку выше 128, можно было кодировать 99,6% от 32-битного целочисленного диапазона в 4 байта, а полный диапазон в 5, например. (2 символа unicode16 бит + 1 8 бит буквенно-цифровой).

Но есть мой вопрос ... Большая часть диапазонов юникода заполняется зарезервированными значениями. Будет ли простой поиск токенизатора во всем возможном диапазоне кодовых точек (т. Е. Будут ли зарезервированные значения работать?), Или он будет работать только для некоторых значений (что?).

Answer 1

SQLite действительно не заботится о том, какие символы действительны или нет (если вы избегаете суррогатного диапазона), но использование символов Юникода не улучшит эффективность хранения, поскольку в UTF-8 могут сохраняться символы без ASCII в более чем двух байтах.

Индексы FTS не сохраняют каждое значение столбца, а просто номера слов, поэтому они более эффективны при наличии дубликатов.

Если возможно, вы должны организовать свою таблицу, чтобы числа могли храниться как одиночные значения в столбце.