SQL QUERY - UNION - несколько одинаковых таблиц занимают много времени

Question

У меня большая проблема с моим запросом к базе данных.

Я объяснил свою проблему, у меня есть 11 одинаковых таблиц (резервных копий). Таблицы точно такие же, и мне нужно извлечь данные из них, но это занимает очень много времени.

Я использую накидной запрос, как это:

select id, name, ... from table_1 WHERE (...) 
UNION 
select id, name, ... from table_3 WHERE (...) 
UNION 
select id, name, ... from table_2 WHERE (...) 
... ORDER BY created DESC LIMIT 0,50 

Но только запрос занимает около 16 секунд! База данных не имеет, что много данных, что она так долго ...

table_1 = 1.3k 
table_2 = 17k 
table_3 = 10k 
table_4 = 10k 
...  = 10k 
table_11= 140K 

Можете ли вы мне помочь оптимизировать этот запрос? Большое спасибо!

Answer 1

Во-первых, не используйте UNION - если вы не хотите взять накладные расходы, чтобы удалить дубликаты. Вместо этого используйте UNION ALL:

select id, name, ... from table_1 WHERE (...) 
UNION ALL 
select id, name, ... from table_3 WHERE (...) 
UNION ALL 
select id, name, ... from table_2 WHERE (...) 
... 
ORDER BY created DESC 
LIMIT 0, 50; 

Вы также можете иметь возможность повысить производительность за счет использования индексов, подходящие для пункта WHERE. Однако на ваш вопрос недостаточно информации.

На самом деле, еще одна оптимизации принимать первые 50 строк из каждого подзапроса перед тем объединения:

(select id, name, ... from table_1 WHERE (...) ORDER BY created DESC LIMIT 50) 
UNION ALL 
(select id, name, ... from table_3 WHERE (...) ORDER BY created DESC LIMIT 50) 
UNION ALL 
(select id, name, ... from table_2 WHERE (...) ORDER BY created DESC LIMIT 50) 
... 
ORDER BY created DESC 
LIMIT 0, 50; 

Это уменьшает объем данных для окончательного ORDER BY, который должен также ускорить процесс.

Answer 2

UNION пытается разобрать все отдельные запросы из каждой таблицы, которые она вернула. Если вы точно знаете, что дубликатов нет, тогда вместо этого вы можете использовать UNION ALL.

Если вы беспокоитесь о дубликатах, используйте UNION ALL, чтобы выбрать все во временную таблицу или подзапрос, а затем GROUP BY каждый столбец, который вы возвращаете, чтобы устранить их.

Для получения реальных указаний загляните в панель инструментов для оценочного плана Execultion. Нажмите эту кнопку, и он покажет вам, какая часть запроса занимает много времени, и предложит улучшения.