Операция MySQL UPDATE, чтобы избежать массивных размеров TRX

Question

Я часто пишу datascrubs, которые обновляют миллионы строк данных. Данные хранятся в базе данных OLTP MySQL 24x7x365 с использованием InnoDB. Обновления могут счищать каждую строку таблицы (в которой БД заканчивается приобретением блокировки на уровне таблицы) или может просто очищать 10% строк в таблице (которая все еще может быть в миллионах).

Чтобы избежать создания массивных размеров транзакций и минимизации конкуренции, я обычно пытаюсь разбить мой один массивный оператор UPDATE на ряд небольших транзакций UPDATE. Так что я в конечном итоге писать циклическую конструкцию, которая ограничивает мой UPDATE, где положение так:

(предупреждение: это просто псевдо-код, чтобы получить точку в поперечнике)

@batch_size=10000; 
@max_primary_key_value = select max(pk) from table1 

for (int i=0; i<=@max_primary_key_value; i=i+@batch_size) 
{ 
start transaction; 

update IGNORE table1 
set col2 = "flag set" 
where col2 = "flag not set" 
and pk > i 
and pk < i+@batchsize; 

commit; 
} 

Такой подход просто отстой так много причин.

Я хотел бы выпустить инструкцию UPDATE без базы данных, которая пытается сгруппировать все обновляемые записи в единый блок транзакций. Я не хочу, чтобы UPDATE преуспел или потерпел неудачу как единое целое. Если 1/2 строки не обновляются ... нет проблем, просто дайте мне знать. По сути, каждая строка - это собственная единица работы, но дозирование или курсор - единственный способ понять, как представить это для механизма базы данных.

Я рассмотрел установки уровней изоляции для своей сессии, но это, похоже, не помогает мне в этом конкретном случае.

Любые другие идеи?

Answer 1

Возможно, не ответ, который вы ищете, но вы можете немного упростить свой код, используя LIMIT в обновлении.

Псевдо-код:

do { 
    update table1 set col2 = 'flag set' where col2 = 'flat not set' LIMIT 10000 
} while (ROW_COUNT() > 0) 

Answer 2

Да Эрик ... ты прав (для простых случаев, которые не включают в себя положения, где это, как «где не»). Я написал небольшую процедуру, которая позволяет мне предоставлять инструкцию SQL update и номер предела в качестве параметров.

создать процедуру mass_update (IN updatestmt TEXT, IN batchsiz INT) НАЧАТЬ - ЦЕЛЬ: ломаются крупные операторы обновления в партии, чтобы ограничить размер сделки и уменьшить конкуренцию - ОГРАНИЧЕНИЕ: работает только с уточнениями, которые дали бы " 0 строк затронуты "при выполнении TWICE!

SET @sql = CONCAT(updatestmt," LIMIT ", batchsiz); 
-- had to use CONCAT because "PREPARE stmt FROM" cannot accept dynamic LIMIT parameter 
-- reference: http://forums.mysql.com/read.php?98,75640,75640#msg-75640 
PREPARE stmt FROM @sql; 

select @sql; --display SQL to screen 
SET @cumrowcount=0; 
SET @batchnum=0; 
SET @now := now(); -- @now is a STRING variable... not a datetime 

    increment: repeat 
     SET @batchnum=@batchnum+1; 
     EXECUTE stmt; 
     set @rowcount = ROW_COUNT(); 
     set @cumrowcount = @cumrowcount + @rowcount; 
     select @batchnum as "Iteration", 
       @cumrowcount as "Cumulative Rows", 
       TIMESTAMPDIFF(SECOND,STR_TO_DATE(@now,"%Y-%m-%d %H:%i:%s"),now()) as "Cumulative Seconds", 
       now() as "Timestamp"; 
     until @rowcount <= 0 
    end repeat increment; 

    DEALLOCATE PREPARE stmt; -- REQUIRED 
END 

Это, кажется, работает достаточно хорошо, и я могу запустить его с любым старым заявлением UPDATE, который прилипает к правилу «работает в два раза приводит к 0 затронутых строкам».

Спасибо за идею Эрика!