Удалить дубликаты из двух столбцов

Question

У меня есть таблица со следующей схемой:

+---------------+-------------+------+-----+---------+----------------+ 
| Field   | Type  | Null | Key | Default | Extra   | 
+---------------+-------------+------+-----+---------+----------------+ 
| id   | int(11)  | NO | PRI | NULL | auto_increment | 
| system_one_id | int(11)  | NO | MUL | NULL |    | 
| system_two_id | int(11)  | NO | MUL | NULL |    | 
| type   | smallint(6) | NO |  | NULL |    | 
+---------------+-------------+------+-----+---------+----------------+ 

Я хочу, чтобы удалить дубликаты, где «дубликат» определяется как либо:

1. значений соответствия для обоих system_one_id и system_two_id между двумя рядами или
2. "крест соответствует" ценности, т.е. row1.system_one_id = row2.system_two_id и row1.system_two_id = row2.system_one_id

Есть ли способ удалить оба вида дубликатов в одном запросе?

Answer 1

Mysql поддерживает несколько столов удаляют, поэтому простое соединение может быть использовано:

delete t1 
from mytable t1 
join mytable t2 on t1.id > t2.id 
    and ((t1.system_one_id = t2.system_one_id 
    and t1.system_two_id = t2.system_two_id) 
    or (t1.system_one_id = t2.system_two_id 
    and t1.system_two_id = t2.system_one_id)) 

Условие соединения t1.id > t2.id предотвращает объединение строк в себя и выбирает позже добавлен ряд дубликатов пары для удаления.

---

FYI, в Postgres, подобная функциональность существует, но с другим синтаксисом:

delete mytable t1 
using mytable t2 
where t1.id > t2.id 
    and ((t1.system_one_id = t2.system_one_id 
    and t1.system_two_id = t2.system_two_id) 
    or (t1.system_one_id = t2.system_two_id 
    and t1.system_two_id = t2.system_one_id)) 

Answer 2

Вот инструкция (надеюсь), выбирая все идентификаторы повторяющихся записей, вам нужно только обернуть ее командой delete (это ваша роль). ;-)

select A.ID from MYTABLE A 
left join MYTABLE B on 
(
    (A.SYSTEM_ONE_ID = B.SYSTEM_ONE_ID and A.SYSTEM_TWO_ID = B.SYSTEM_TWO_ID) 
    or 
    (A.SYSTEM_ONE_ID = B.SYSTEM_TWO_ID AND A.SYSTEM_TWO_ID = B.SYSTEM_ONE_ID) 
) 
where B.ID is not null and A.ID <> B.ID; 

Answer 3

Вы можете сгруппировать по least и greatest выбрать минимальный идентификатор каждой группы и удалять строки с другими идентификаторами.

delete from mytable 
where id not in (
    select * from (
     select min(id) 
     from mytable 
     group by greatest(system_one_id, system_two_id), 
     least(system_one_id, system_two_id) 
    ) t1 
) 

Answer 4

этот запрос начинается с мин идентификатора, а затем выбирает только not selected records in previous selection with regard to system_ids (t.id > t2.id)

delete from your_table t 
where id not in (select id from 
       (select distinct t.id 
       from your_table t 
       where 
       (
         select count(*) 
         from your_table t2 
         where t.id > t2.id 
          and ((t.system_one_id=t2.system_one_id 
           and t.system_two_id=t2.system_two_id) 
           or (t.system_one_id=t2.system_two_id 
           and t.system_two_id=t2.system_one_id)) 
       ) =0 
      ) tbl 
      )