MySQL, 'WHERE NOT IN' slow

У меня возникают проблемы с медленным запросом MySQL. Для каждого из них требуется более 10 минут. Я попытался переписать его с помощью LEFT JOINT, но «суставы» не являются моим лучшим опытом))MySQL, 'WHERE NOT IN' slow

Я надеюсь, что кто-то сможет мне помочь.

select subscriberId 
    from segments 
    where (segmentId = 29) 
    and subscriberId not in 
    (select subscriberId from que where (campaignId = 31 or campaignId = 32)) 
    order by rand() 
    limit 20000

Все индексы на месте. Заранее большое спасибо.

источник

2013-12-10 Sergey

подзапросом может быть проблема пусть смотрят объяснить –

Да , подзапросом является проблема. Я понимаю. Он запускает миллионы подзапросов для получения результатов. Его 100% ясны для меня. Так что я спрашиваю, как его оптимизировать) – Sergey

Я думаю, ваша проблема в

order by rand()

попытки удалить это и посмотреть время.

UPDATE индекс

добавить:

alter table que добавить индекс (subscriberId)
попробовать это:

select segments.subscriberId from segments left join que on que.subscriberId = segments.subscriberId and (que.campaignId = 31 or que.campaignId = 32) where segments.segmentId = 29 and que.id is null limit 20000

Я вижу 0.08 сек и 0.13 с заказом rand().

Не используйте phpmyadmin для проверки, потому что у него больше времени на визуализацию результата. Я использую клиент MySQL консоли

20000 rows in set (0.13 sec)

mysql> select segments.subscriberId from segments left join que on que.subscriberId = segments.subscriberId and (que.campaignId = 31 or que.campaignId = 32) where segments.segmentId = 29 and que.id is null order by rand() limit 20000 ;

источник

2013-12-10 04:37:06 BaBL86

Да, заказ от rand() не самый быстрый, однако ранее мы не «вырезали» «не в», и обычно это заняло около 1-2 секунд, что нормально , поскольку он работает в фоновом режиме. Поскольку система обновляется, и нам нужно предложить больше, нам нужно иметь более подробную сегментацию, которую мы добавили «не в», и она начала принимать «годы» для обработки – Sergey

. Заказ от rand does'nt использует индексы, создает таблицы tmp и с некоторым весом файлов данных. Это действительно очень медленно. – BaBL86

И мне жаль, что я не могу удалить заказ rand(), но мне нужно сохранить эту функциональность. В этом примере мне нужно выбрать 20k строк из 600k, поэтому очень важно иметь некоторое вращение. – Sergey

Попробуйте использовать соединение

SELECT sg.subscriberId 
    FROM segments sg JOIN que q 
    ON (sg.subscriberId = q.subscriberId and sg.segmentId = 29) 
    WHERE (q.campaignId <> 31 AND q.campaignId <> 32)

источник

2013-12-10 05:50:41

6.19 sec AWESOME, большое спасибо – Sergey

На самом деле он возвращает значения, указанные в таблице queerId, которые находятся в таблице que, но мне нужно отключить эти значения :( – Sergey

Можете ли вы попробовать this.I отредактировал запрос –

Попробуйте заменить NOT IN с NOT EXISTS

select s.subscriberId 
from segments s 
where (s.segmentId = 29) 
and NOT EXISTS (select * from que q 
       where s.subscriberId = q.subscriberId AND 
       (q.campaignId = 31 or q.campaignId = 32)) 
order by rand() 
limit 20000

источник

2013-12-10 06:09:11 slavoo

10 мин - 8 сек :( – Sergey

MySQL, 'WHERE NOT IN' slow

ответ

Смежные вопросы