Обновление с подзапросом никогда не завершено

Question

В настоящее время я работаю над проектом с MySQL Db более 8 миллионов строк. Мне была предоставлена ​​часть его для проверки некоторых запросов. Он имеет около 20 столбцов, из которых 5 мне полезны. А именно: First_Name, Last_Name, Address_Line1, Address_Line2, Address_Line3, RefundID

Я должен создать уникальный, но случайный RefundID для каждой строки, это не проблема. Проблема заключается в создании таких жеRefundID для тех строк, у которых First_Name, Last_Name, Address_Line1, Address_Line2, Address_Line3 такой же.

Это моя первая работа, связанная с MySQL с таким большим количеством строк. До сих пор я создал эти запросы:

запрос

-- Creating Teporary Table -- 
CREATE temporary table tempT (SELECT tt.First_Name, count(tt.Address_Line1) as 
a1, count(tt.Address_Line2) as a2, count(tt.Address_Line3) as a3, tt.RefundID 
FROM `tempTable` tt GROUP BY First_Name HAVING a1 >= 2 AND a2 >= 2 AND a3 >= 2); 
-- Updating Rows with First_Name from tempT -- 
UPDATE `tempTable` SET RefundID = FLOOR(RAND()*POW(10,11)) 
WHERE First_Name IN (SELECT First_Name FROM tempT WHERE First_Name is not NULL); 

Это обновление не продолжает работать, но никогда не заканчивается, tempT имеет более 30K строк. Затем этот запрос будет запущен в основной БД с более чем 800 К строк.

Может ли кто-нибудь помочь мне с этим?

С уважением

Answer 1

решения, которые кажутся очевидными для меня ....

Не используйте случайное значение - использовать хэш:

UPDATE yourtable 
SET refundid = MD5('some static salt', First_Name 
    , Last_Name, Address_Line1, Address_Line2, Address_Line3) 

Проблема заключается в том что если вы используете целочисленное значение для refundId, тогда есть хорошие шансы получить столкновение (подсказка CONV (SUBSTR (MD5 (...), 1,16), 16,10), чтобы получить SIGNED BIGINT). Но вы не сказали, что такое тип поля, и как строгое «уникальное» требование было. Однако он выполняет обновление за один проход.

Альтернативный подход, который создает плотно упакованную последовательность чисел, заключается в создании временной таблицы с уникальными значениями из исходной таблицы и случайным значением. Сортировать по случайной величине и установите монотонно возрастающую refundId - использовать это в качестве справочной таблицы или обновить исходную таблицу:

SELECT DISTINCT First_Name 
    , Last_Name, Address_Line1, Address_Line2, Address_Line3 
INTO temptable 
FROM yourtable; 

set @counter=-1; 

UPDATE temptable t SET t,refundId=(@counter:=@counter + 1) 
ORDER BY r.randomvalue; 

Есть и другие решения тоже - но более эффективных из них полагается на наличие нескольких копий данные и/или использование процедурного языка.

Answer 2

Попробуйте использовать следующее:

UPDATE `tempTable` x SET RefundID = FLOOR(RAND()*POW(10,11)) 
WHERE exists (SELECT 1 FROM tempT y WHERE First_Name is not NULL and x.First_Name=y.First_Name); 

Answer 3

В MySQL, часто более эффективно использовать join с update, чем для фильтрации через п where с использованием подзапроса. Ниже будут работать лучше:

UPDATE `tempTable` join 
     (SELECT distinct First_Name 
     FROM tempT 
     WHERE First_Name is not NULL 
     ) fn 
     on temptable.First_Name = fn.First_Name 
    SET RefundID = FLOOR(RAND()*POW(10,11));