Оптимизировать таблицу SQLite для двух разных поисков

Question

У меня есть таблица SQLite, которая составляет около 30 миллионов строк на 500 столбцов. Три из этих столбцов:

CREATE TABLE core (
state TEXT, 
year INTEGER, 
randInt INTEGER, 
); 

Моя основная польза для этой таблицы является SELECT подмножеств, либо state - year парами или по сравнению с randInt. randInt является случайным числом, что в диапазоне от 0 до 100.

Примеры выбора состояния года:

SELECT * WHERE state='MA' AND year=1999; 
SELECT * WHERE (state='MA' AND year=1999) OR (state='NJ' AND year=1998); 

Примеры выбора randInt:

SELECT * WHERE randInt < 10; 
SELECT * WHERE randInt = 10; 

Эти два типа выборов содержат больше, чем 95% запросов к базе данных я буду делать. Есть ли способ оптимизировать таблицу специально для них?

Я предполагаю, что я хочу, чтобы явно CREATE INDEX для randInt и индекс соединения для state,year, но я не знаю, если они имеют одно мешает другому, и я не знаю, как создавать составные индексы.

Должен ли я отключать индексирование всех остальных 497 столбцов, так как я редко буду когда-либо индексировать их?

Answer 1

Создание индекса для одного столбца не влияет на другие индексы. Обратите внимание, однако, что SQLite использует не более одного индекса во время запроса (не проблема в вашем случае).

Кроме того, если вы не создали индексы для других столбцов 497, вам не нужно «индексировать их» для них. Индексы занимают пространство и требуют времени для обновления при обновлении таблицы, поэтому было бы катастрофой иметь 497 индексов, которые вам не нужны.

Чтобы создать индекс на две колонки, которые вы должны выполнить что-то вроде:

CREATE INDEX indyearstate ON tbl (year,state) 

Answer 2

Вы должны создать два индекса:

CREATE INDEX IX_1 ON core(year, state); 
CREATE INDEX IX_2 ON core(randInt); 
ANALYZE; -- ask SQLite to analyze data and update "stats" table on indices 

С тех пор ваши запросы будут работать (значительно) быстрее, и вы не должен ничего делать для обновления индексов: SQLite будет поддерживать их в актуальном состоянии (до тех пор, пока вы вручную не сбросите индексы с помощью «DROP INDEX»).

Вы также можете попробовать этот индекс вместо IX_1:

CREATE INDEX IX_1a ON core(state, year); 

Если ваша основная таблица имеет несколько различных «состояния», то «года» этот показатель может ускорить вещи немного больше.