Быстрый запрос MYSQL для удаления дубликатов

Question

У меня есть таблица со 100 000 строк и хотелось бы удалить все дубликаты. Я уже пробовал следующий запрос:

DELETE t1 FROM wt_tweets t1, wt_tweets t2 WHERE t1.ID < t2.ID AND t1.tweet_id = t2.tweet_id OR t1.tweet_user_id = t2.tweet_user_id 

К сожалению, это довольно медленно. Поэтому мне было интересно, есть ли более быстрая альтернатива.

Answer 1

Ваш запрос обрабатывается следующим образом:

DELETE t1 FROM wt_tweets t1, wt_tweets t2 
    WHERE (t1.ID < t2.ID AND t1.tweet_id = t2.tweet_id) OR 
      (t1.tweet_user_id = t2.tweet_user_id) 

В этих условиях, это приведет к удалению всех строк (при условии, tweet_user_id не null). Таким образом, более быстрый метод:

TRUNCATE TABLE wt_tweets; 

Однако, я сомневаюсь, что это ваше намерение.

Если вы хотите удалить строки, где tweet_id то же самое (но сохраняя один с наибольшим идентификатором):

DELETE t 
    FROM wt_tweets t LEFT JOIN 
     (SELECT tweet_id, MAX(ID) as maxId 
      FROM wt_tweets 
      GROUP BY tweet_id 
     ) tt 
     ON t.tweet_id = tt.tweet_id AND t.id = tt.maxId 
    WHERE tt.tweet_id IS NULL;