Поиск дубликатов данных одного и того же столбца

Question

Я нашел запрос, который захватывает все дубликаты и группирует их по имени столбца, но мне нужно отображать каждую запись в собственной строке, сгруппированной по имени столбца ...

Я подозреваю, что несколько записей с одинаковым столбцом дизайна загружены, и мне нужно иметь возможность сравнивать каждую строку, чтобы определить, какие из них активны или нет.

Следующий запрос кажется, что это будет работать, но сбой MySQL каждый раз, когда я пытаюсь и использовать его:

SELECT * 
FROM 2009_product_catalog 
WHERE sku IN (
    SELECT sku 
    FROM 2009_product_catalog 
    GROUP BY sku 
    HAVING count(sku) > 1 
    ) 
ORDER BY sku 

Мне нужно все записи, чтобы показать, а не только записи, которые могут быть дубликатами. Причина в том, что мне нужно иметь возможность сравнивать остальные столбцы, поэтому я могу знать, какие дубликаты должны уйти.

Answer 1

Ваш запрос логически корректен. Однако у MySQL есть некоторые проблемы с оптимизацией in с подзапросом. Попробуйте эту версию:

SELECT pc.* 
FROM 2009_product_catalog pc join 
    (SELECT sku 
     FROM 2009_product_catalog 
     GROUP BY sku 
     HAVING count(sku) > 1 
    ) pcsum 
    on pcsum.sku = pc.sku 
ORDER BY sku; 

Если это все еще не работает, то убедитесь, что у вас есть индекс 2009_product_catalog(sku, pcid) (где pcid это уникальный идентификатор каждой строки в таблице, попробуйте следующее:.

select pc.* 
FROM 2009_product_catalog pc 
where exists (select 1 
       from 2009_product_catalog pc2 
       where pc2.sku = pc.sku and pc2.pcid <> pc.pcid 
      ) 

Answer 2

Я думаю, что IN или exists заявление очень тяжелая работа.

Предположим, что ваша таблица имеет поле с именем id в качестве основного ключа. Помните создать индекс на поле sku.

SELECT pc.* 
FROM 
    2009_product_catalog pc 
     INNER JOIN 2009_product_catalog pc2 ON pc.sku = pc2.sku AND pc.id != pc2.id 

Редактировать

SELECT pc.*, pc2.id as `pc2_id` 
FROM 
    2009_product_catalog pc 
     LEFT OUTER JOIN 2009_product_catalog pc2 ON pc.sku = pc2.sku AND pc.id != pc2.id 

Этот запрос дает все записи вам, каждый дублируется запись имеет pc2_id не является нулевым. Если pc2_id имеет значение NULL, он не дублируется. В противном случае, если запись дублируется более двух раз, она будет появляться в вашем результате более одного раза, это проблема?

Answer 3

SELECT * FROM 2009_product_catalog t1 INNER JOIN 
(SELECT sku FROM 2009_product_catalog GROUP BY sku HAVING COUNT(sku) > 1) t2 
ON t1.sku = t2.sku 

Это альтернатива первоначальному запросу, опубликованному в вашем запросе. Он использует объединения вместо подзапроса, естественно объединяется быстрее.

t1 - оригинальная таблица. t2 содержит только те строки, которые дублируются. Результат (внутреннее соединение) будет иметь записи с дубликатом sku.