Поиск дубликатов столбцов в таблице записей 30M

Question

В таблице предметов есть 30M строк. Я выполняю запрос, чтобы найти дубликат hash. hash определяется как

`hash` varchar(50) NOT NULL; 

Этот запрос

SELECT Count(*) 
FROM (SELECT Count(id) `num`, 
       `signature` 
     FROM `images` 
     WHERE `hash` IS NOT NULL 
     GROUP BY `hash` 
     HAVING `num` > 1) AS `count_table` 

занимает около 5-7 минут, прежде чем я нажал Ctrl+C, чтобы отменить запрос. Я запускаю его снова и все равно не могу дождаться этого много времени.

Как я могу получить этот результат быстрее?

Я знаю, что при выполнении группы это будет немного медленнее. Но8 минут слишком много, я думаю.

Answer 1

Удостоверьтесь, что есть индекс на hash (или он signature?).

Заменить COUNT(id) на COUNT(hash) (или COUNT(signature)).

Answer 2

Если я правильно понял, вам нужны только возвращенные столбцы, которые дублируются? попробуйте это SELECT * FROM table_name AS t1 WHERE EXISTS (SELECT * FROM table_name AS t2 WHERE t1.hash = t2.hash и t1.id! = T2.id);

Answer 3

Если вам просто нужно количество повторяющихся записей, то вы можете попробовать

select count(*)-count(distinct hash) from images