oracle sql plus spool

Question

Я использую sql plus для выполнения запроса (выбор) и выдачу результата в файл с использованием опции spool. У меня около 14 миллионов строк, и для создания дампа требуется около 12 минут. Мне было интересно, есть ли что-то, чтобы сделать свалку быстрее?

Здесь ниже моей SQL плюс варианты:

whenever sqlerror exit sql.sqlcode 
     set pagesize 0 
     set linesize 410 
     SET trimspool ON 
     set heading on 
     set feedback off 
     set echo off 
     set termout off 
     spool file_to_dump_into.txt 
     select * from mytable; 

Спасибо.

Answer 1

С типичным запросом 14M записей составляет не менее нескольких сотен мегабайт данных для извлечения из сервера, передачи через соединение и сохранения на диск.

Учитывая это, 12 минут не звучит слишком много для меня.

Однако возможно, что ваш запрос может быть оптимизирован. Не могли бы вы разместить его здесь?

Answer 2

Так происходит ли это по проводу или вы вошли в поле с базой данных? Если у вас есть доступ, возможно, вы можете запустить сеанс sqlplus в поле, где находится база данных, и закрепить файл, а затем отправить файл на локальный компьютер. Возможно, быстрее отправить большой файл через провод вместо отправки миллионов меньших записей. Конечно, это не сделает его очень быстрым, но может побриться.

Также с этим большим количеством данных вам действительно нужно заправить его в файл? Можете ли вы сделать экспорт вместо этого?

Answer 3

Вы можете включить буферизацию вывода, добавив к вам сценарий

SET FLUSH OFF 

Но результат зависит от вашей операционной системы.

Answer 4

Возможно, вам будет удобно использовать UTL_FILE, но, вероятно, не так быстро.

В моем тесте он был немного быстрее примерно на 20 тыс. Строк, ударил более 14 миллионов, хотя и это может стоить того.

Я считаю, что если вы хотите получить что-то более быстрое, то способ пойти будет про * c .. но я не понял этого, поэтому не могу посоветовать.

set pagesize 1000 
set FLUSH OFF 
drop user usera cascade; 
create user usera default tablespace users identified by abc123; 
grant create session to usera; 
grant resource to usera; 

create or replace directory testdir as '/tmp'; 
grant read,write on directory testdir to usera; 
grant execute on UTL_FILE to usera; 

connect usera/abc123; 

set timing on 

spool /tmp/spooltest.txt 
select object_name from all_objects; 
spool off 

DECLARE 
v_file UTL_FILE.FILE_TYPE; 
TYPE t_col is table of all_objects.object_name%type index by PLS_INTEGER; 
v_object_names t_col; 

BEGIN 
    v_file := UTL_FILE.FOPEN('TESTDIR','utlfiletext.txt','w'); 

    select object_name BULK COLLECT INTO v_object_names 
    from all_objects; 

    for idx IN 1 .. v_object_names.COUNT LOOP 
    UTL_FILE.PUT_LINE(v_file, v_object_names(idx), FALSE); 
    END LOOP; 

    UTL_FILE.FCLOSE(v_file); 
END; 
/

Результаты. Верхний результат составляет от SQLPLUS только снизу, используя UTL_FILE

23931 rows selected. 

Elapsed: 00:00:06.60 

PL/SQL procedure successfully completed. 

Elapsed: 00:00:05.45 

Answer 5

При получении много результатов из запроса в SQL * Plus, я обнаружил, что одна вещь, которая занимает много времени, фактическое отображение данных. Если вы буферизируете данные в файл, вы можете SET TERMOUT OFF, и запрос выполняется намного быстрее, поскольку ему не нужно тратить время на его запись на экран.

Answer 6

Вы связываете & с разделителями столбцов или экспортируете фиксированную ширину?

См. Эту документацию по адресу SQL*Plus Script Tuning. Ниже приведено несколько возможных способов его ускорения:

1. Убедитесь, что LINESIZE как можно меньше. Добавьте максимальную длину столбца (плюс разделители, если не фиксированная ширина).Это может существенно повлиять на производительность, поскольку SQL * Plus выделяет этот объем памяти для каждой экспортируемой строки. 410 не так уж и большой, но если вы можете уменьшить его, что бы помогло. По моему опыту, это имело большое значение.
2. Не включайте TRIMSPOOL. Это также может иметь большое значение. Затем каждая строка будет дополнена LINESIZE, но с оптимальной строкой и в зависимости от того, как вы используете файл, это может быть приемлемым. Однако, если вы хотите полностью уничтожить конечные пробелы, часто бывает быстрее обрезать их, используя другие методы post-export.
3. Играйте с ARRAYSIZE. Это может помочь (немного). Он устанавливает размер выборки для SQL * Plus. Значение по умолчанию - 15 строк. Нападение на, скажем, 100 может помочь, но слишком большой может снизить скорость.

Надеюсь, это поможет!

Answer 7

Некоторые варианты доступны от Tom Kyte, который является настоящим гуру.