SQLite и проблема с производительностью с SELECT total (value)

Question

Здравствуйте, и новый год,

Мы по-прежнему боремся с нашим применением моделирования. Особенно при использовании SQLite в качестве таблицы поиска в режиме реального времени во время работы.

Позвольте мне показать вам дизайн таблицы первой: SQLfiddle - Link

Здесь вы можете увидеть таблицу 'TESTTABLE' с:

1. 'ид' (целое число): в качестве первичного ключа
2. 'time_abs' (integer): представляет временную метку, связанную с синхронизацией моделирования.
3. 'r_m' (double): обозначает 'массовый расход' (единица измерения кг/с, например) некоторого расхода
4. «T_r» (двойной): означает «температура массового расхода»
5. «тип» (varchar): обозначает вид массового расхода (например, вода)
6. 'х0' (VARCHAR): представляет собой отход от массового потока (например, сосуд # 1)
7. 'x1' (VARCHAR): представляет собой место назначения потока массы (например, сосуд # 2)

(на самом деле есть еще некоторые химические и физические свойства, записанные в эту таблицу)

моделирование создает эти данные, и написано с Java методов в базу данных, которая работает довольно хорошо (несколько 10к/с возможно).

Этот вопрос:

Во время моделирования работы двигателя моделирования когда-то нуждается в определенной информации, как «Какова общая масса в vessel1 во время 14?» Мы получаем эту информацию с запросом, как это:

---

SELECT total(r_m) FROM testtable WHERE time_abs<=14 AND x1='vessel2') - (SELECT total(r_m) FROM testtable WHERE time_abs<=14 AND x0='vessel2'); (, которая: добавление все ставки дохода и вычитая все ставки исходов в одной локальной точке)

---

, который работает нормально в начале. Но в итоге у нас около 8-10 миллионов строк в этой таблице, и производительность сильно падает. Например. этот запрос занимает почти 6 секунд (3-4 секунды с мангистом SQLite в firefox).

Также в конце мы хотели бы построить общую массу за период 1000 единиц времени (time_abs) с этим запросом, который понадобится около 1000 * 6 секунд. Очевидно, много.

Итак, вопрос в том, что мы можем сделать, чтобы значительно увеличить производительность?

Answer 1

Может помочь вам, если вы используете один или несколько дополнительных поля (ы), где вы обновляете/увеличиваем требуемое значение

eg. total_rm or total_diff 

Тогда вам не нужно всего(), но вы можете получить доступ к значение непосредственно с

SELECT total_rm FROM testtable WHERE time_abs=14 AND x1='vessel2') 

Конечно, вы должны создать индекс за time_abs.

Answer 2

Возможности:

1. Предварительно рассчитать требуемый результат. Итак, когда вы вставляете сырые данные, обновите строку в таблице «итоговые». Каждая строка имитирует ваш запрос, обновляя его на основе time_abs и судна. Таким образом, таблица может иметь столбец:

   time_abs, судно, running_total

   Вы обновить running_total с новым значением, основанным на time_abs и судами

2. вхолостую необработанной обработку данных для более способного сервера. Таким образом, на каждом n вставке необработанных данных загружайте эти данные на более способный сервер с помощью веб-служб. Попросите эту машину вычислить ваши результаты в реальном времени. Как только вставка данных завершена (конец сбора данных), ваши результаты, теоретически, готовы к возврату на Android (снова через веб-службы или аналогичные).

Answer 3

Данный запрос может быть сделан более эффективным с помощью следующих показателей:

CREATE INDEX i_ir ON testtable(x1, time_abs, r_m); 
CREATE INDEX i_or ON testtable(x0, time_abs, r_m);