Лучшие индексы для этой таблицы и запроса?

Question

У меня есть запрос sqlite, который должен запускаться как можно быстрее. Запрос довольно прост, но я не знаю, как лучше всего индексировать таблицу для максимальной производительности.

Таблица называется «лексикон». Определение:

_id integer primary key 
word text 
frequency integer 
lset integer 
rset integer 

запрос:

SELECT word,frequency FROM lexicon WHERE lset>? AND rset<? ORDER BY frequency DESC LIMIT ? 

Я проиндексированы все отдельные столбцы, но я подозреваю, составные индексы могут быть лучше, но какая комбинация? И должны ли индексы на lset и rset быть восходящими или нисходящими?

EDIT: lset и rset - вложенные значения множества, представляющие древовидную структуру. Поэтому все значения lset и rset взаимно уникальны и отлично распределены. Кроме того, в любой строке lset < rset.

Заранее спасибо ...

Answer 1

Ваш запрос (с небольшими изменениями в названиях):

SELECT word,frequency 
FROM lexicon 
WHERE lset > @LeftSide 
    AND rset < @RightSide 
ORDER BY frequency DESC 
LIMIT @Num 

Вы используете модель вложенных множеств, поэтому он может быть переписано в виде:

SELECT word,frequency 
FROM lexicon 
WHERE lset > @LeftSide   --- both `lset` here 
    AND lset < @RightSide   --- and here 
ORDER BY frequency DESC 
LIMIT @Num 

Они также могут быть как rset. Пока ваши данные не нарушают модель вложенного набора, оба будут работать и давать одинаковые результаты. Таким образом, запрос может потребоваться индекс покрытия на 3 колонки:

(lset, frequency, word) 

Он будет использовать индекс для идентификации (возможно тысячи) строк, которые попадают в (@LeftSide,@RightSide) диапазона, а затем использовать FileSort, чтобы найти (@ Num) слова с максимальной частотой.

В некоторых случаях индекс на (frequency DESC, lset, word) может быть лучше (это действительно зависит от значений параметров), поэтому хорошо, если у вас есть этот индекс. Но я не могу ответить, будет ли SQLite набирать лучший индекс для каждого экземпляра.

В зависимости от того, сколько рядов попадает в этот диапазон, оно может работать от хорошо до не очень хорошо. Но я не вижу простого способа оптимизировать этот запрос.

Answer 2

Если SQLite ведет себя simlarly другим DBMSes в связи с этим, вы будете нуждаться в составной индекс по ...

{lset, rset DESC, frequency DESC} 

... в этом особом порядке и с этими конкретными предложениями DESC.

Посмотрите на this article, чтобы узнать больше о восходящих/низовых индексах.

---

И да, как уже упоминалось @DanielRenshaw, вы можете включить word в конце индекса, просто позволить index-only scan. Это называется индексом покрытия.

(Поскольку индекс кластеризации уже охватывает всю область, нет никакого смысла делать что для такого индекса.)

Answer 3

Это будет зависеть от статистики ваших данных.

Вы могли бы попытаться создать индексы на каждой комбинации lset, rset и frequency найти лучший случай, но вы обязательно то есть реальные данные в таблице.
- (lset, rset, frequency)
- (rset, lset, frequency)
- (lset, frequency, rset)
- (rset, frequency, lset)
- (frequency, lset, rset)
- (frequency, rset, lset)

Преимущество наличия frequency состоит в том, что он уже подготовлен к вашим статьям ORDER BY и LIMIT.

Но если каждое слово в вашем лексиконе имеет разную частоту, второе и третье поля в индексе станут бесполезными. (пример того, почему важны статистические данные ваших данных.)

Также имеет значение, какое поле ограничивает ваши записи самым быстрым. Если фильтр lset < x уменьшает набор до 0.01% первоначального размера, поместите этот фильтр первым в свой индекс.

Но, во всяком случае, фильтрация lset < X and rset > y будет невозможна индексировать очень хорошо.