Выполнение сценария оболочки, использующего SQL-запрос параллельно -

Question

База данных: Oracle 11g Сервер: GNU/Linux Bash Shell.

Я разработал сценарий оболочки, который использует sqlplus для подключения к базе данных и выбора каждой строки из таблицы и обновления столбца со значением.

Я разработал это, потому что у меня было очень мало данных на этой таблице, но теперь данные выросли до 500 тыс. Строк. Выбор и обновление каждой записи, очевидно, займет много времени, чтобы обновить 500 тыс. Строк.

Есть ли способ, которым я могу выполнять скрипт параллельно, но каждый сценарий собирает уникальную запись и обновляет строку? избегать обновления той же строки с помощью параллельных скриптов?

Answer 1

У вас может быть один сценарий, который принимает один или несколько параметров и обновляет одну строку. Тогда у вас может быть другой скрипт, который итеративно вызывает первый сценарий в фоновом режиме. Например:

updateRow.sh

!#/bin/bash 
firstParameter=$1 
secondParameter=$2 
# ...and so on 

# Update table based on input 

updateTable.sh

!#/bin/bash 
for i in 1 .. N 
do 
    $WORKING_DIR/updateRow.sh <param1> <param2> & > /path/to/log/file 
done 

Конечно, можно придумать с разной логикой, чтобы сделать то же самое. Будьте осторожны, чтобы параллельные сценарии не пытались обновить одну и ту же строку.

Answer 2

Одна из приятных особенностей баз данных Oracle - вы можете использовать PLSQL (процедурный SQL), который был создан именно для таких миграций. Я не уверен, что я полностью понимаю ваш пример, но я думаю, что ваш сценарий будет выглядеть примерно так ...

spool name-of-log.log 

SET SERVEROUTPUT ON 
SET DEFINE OFF 
SET SCAN OFF 

-- Output the current schema and execution time for logging purposes 
SELECT USER 

    ||' @ ' 

    ||GLOBAL_NAME 

    || ' ' 

    || TO_CHAR(SYSDATE,'dd-MON-yy hh24:MI:ss') AS ENVIRONMENT 

from global_name; 

-- now your procedure.. 
DECLARE 
    -- declare any necessary variables (none needed in this example) 
BEGIN 
    FOR i IN 
    (SELECT dd_no, seq_num 
    FROM stagin_table) 
    LOOP 
    -- do something on i.dd_no, then.. 
    EXECUTE IMMEDIATE 'update staging_table set dd_no = ' || i.dd_no || ' where seq_num = ' || i.seq_num; 
    END LOOP; 
END; 
/

spool off; 

Тогда просто выполнить скрипт с SQLPLUS в сценарии оболочки или запустить его из командной строки ..

sqlplus>@my-script-name.sql 

в теории, это будет быстрее, чем вызов несколько скриптов