Группа с графом на очень большом столе

Question

У меня очень большой стол, 25+ миллионов записей.

Мне нужно создать новую таблицу, в которой три поля уникальны.

Я попытался

SELECT Field1,Field2,Field3, Count(*) FROM `Table` group by Field1,Field2,Field3 having Count(*)>1 

Я получаю err- из памяти от Mysql

Есть более эффективный способ найти все уникальные записи с этими полями с числом> 1, так что я могу работать с ними дальше (создать новую таблицу и т. д.)?

Answer 1

Возможное решение без изменения конфигурации памяти сервера:

CREATE TEMPORARY TABLE ttt AS 
SELECT Field1,Field2,Field3, Count(*) AS counter 
FROM `Table` group by Field1,Field2,Field3; 

Это может предотвратить из памяти, так как имеющий пункт не должен быть оценен. Затем после этого снова запустите таблицу ttt для счетчика > 1.

Вам необходимо будет проверить, не работает ли он. Он будет медленным (особенно второй запрос, так как нет индекса, который он может использовать во временной таблице, и сначала создание индекса не имеет смысла, когда вы просто запускаете этот оператор where).

Answer 2

Если вам не нужен подсчет, то следующее может производить то, что вы хотите:

select field1, field2, field3 
form table t 
where exists (select 1 
       from table t2 
       where t2.field1 = t.field1 and t2.field2 = t.field2 and 
        t2.field3 = t.field3 and t2.id > t.id 
      ) and 
     not exists (select 1 
        from table t2 
        where t2.field1 = t.field1 and t2.field2 = t.field2 and 
         t2.field3 = t.field3 and t2.id < t2.id 
       ); 

Первое положение гарантирует, что более чем одна строка существует. Второй возвращает только минимальный идентификатор для комбинации.

Я понимаю, что для этого, чтобы закончить за конечное время, вам нужен индекс на три поля:

create index idx_table_field1_field2_field3 on table(field1, field2, field3) 

Если group by не удается, то это также может произойти сбой. Но если это удастся, то этот метод может быть довольно быстрым - если индекс может вписаться в память.