Запрос диапазона с индексом болезненно медленный

Question

В таблице My InnoDB содержится около 1 миллиарда записей журнала. Я пытаюсь сделать простой выбор на столе, в результате чего около 30 миллионов строк. Запрос состоит из условия диапазона для поля int, содержащего метку времени.

Запрос: SELECT * FROM logs WHERE created_at >= 1446422400 AND created_at <= 1447027199

Этот запрос имеет низкую производительность, работает около 6-7 часов, и только получая около 1,000 строк/сек. created_at имеет индекс на нем, а запрос использует индекс. Когда я делаю простой SELECT * FROM logs WHERE id >= xx AND id <= yy, устанавливая xx и yy так, чтобы результирующий набор был почти таким же (30 миллионов строк), производительность велика, работает макс. 10 минут.

Это действительно меня пугает. Почему диапазон на ПК работает так здорово и по индексу так плохо? Как я могу оптимизировать индекс? Несколько дней назад я воссоздал таблицу, поэтому индексы должны быть в порядке.

Некоторые подробнее:

схема Таблица:

| logs | CREATE TABLE `logs` (
    `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT, 
    `categoryid` varchar(15) NOT NULL, 
    `type` varchar(15) NOT NULL, 
    `text` varchar(500) NOT NULL, 
    `created_at` int(7) NOT NULL, 
    `status` varchar(45) NOT NULL, 
    PRIMARY KEY (`id`), 
    KEY `status_categoryid_type` (`status`,`categoryid`,`type`), 
    KEY `created_at` (`created_at`), 
) ENGINE=InnoDB AUTO_INCREMENT=1335078012 DEFAULT CHARSET=latin1 | 

Объясните:

| id | select_type | table | type | possible_keys | key  | key_len | ref | rows  | Extra     | 
+------+-------------+---------+-------+----------------------------+---------+------+----------+-----------------------+ 
| 1 | SIMPLE  | logs | range | created_at | created_at | 4  | NULL | 31707348 | Using index condition | 

Цель:

Моя цель состоит в том, чтобы получить данные из таблицы в недельных-кусках , Диапазон выше указывает диапазон недель. Позже я хочу запросить всю таблицу в партиях, получая всегда данные определенной недели.

Answer 1

Причина, почему запрос по id работает так быстро, скорее всего, потому, что MySQL создает кластерный индекс для id, потому что это первичный ключ, а индекс created_at не является кластерным, потому что created_at не является первичным ключом.

Я не уверен, почему разница настолько велика, так как даты created_at являются, скорее всего, такими же последовательными, как и id, но, судя по всему, это так.

Итак, попробуйте следующее:

SELECT id FROM logs WHERE created_at >= 1446422400 LIMIT 1 

(присвоить результат ID1)

SELECT id FROM logs WHERE created_at <= 1447027199 ORDER BY id DESC LIMIT 1 

(присвоить результат id2)

SELECT * FROM logs WHERE id >= id1 AND id <= id2