Pentaho чайник - Извлечение данных из другой базы данных

Question

У меня есть сценарий, где я забирающий данные из одной базы данных (Postgres) и загрузки данных в таблицу в другой базе данных (Redshift)

Есть в любом случае в Kettle планировать эту работу?

Св просто insert into redshift select * from postgres

Answer 1

Использование шага Таблицы вывода может быть крайне медленно, как Redshift оптимизирован для объемных вставок, а не строка за строкой вставки. AFAIK, нет никаких шагов/плагинов в чайнике для объемных вставок в Redshift. Что вы можете сделать, это сделать скрипт на этапе Shell, что:

1. отвалы данные Postgres в файл
2. копирует данные в S3: https://anotherreeshu.wordpress.com/2015/11/30/loading-data-to-aws-s3-bucket-pentaho-data-integration/
3. вставляет данные из S3 в Redshift: https://anotherreeshu.wordpress.com/2015/12/11/loading-data-from-s3-to-redshift-pentaho-data-integration/