Проблемы производительности Pentaho ETL

Question

У меня есть работа/трансформация ETL Pentaho, которая читает текстовый файл и вставляет некоторые записи в таблицу базы данных MS SQL. Я выполняю его каждый день. Это займет до 10 минут. Проблема возникает, когда кто-то еще выполняет ее: время увеличивается до 40 минут. Все выходы происходят на одной машине с той же версией JRE. Журналы не показывают ничего необычного, просто больше времени между шагами.

Информация о системе:

• Windows 8 Enterprise 64бит
• JRE 1.7_79 32 бита
• Pentaho 5.3.0
• MS SQL 2000 (8,0)

Вызывается команда:

C:\SR\bin\data-integration>"C:\SR\bin\jre1.7.0_79\bin\java.exe" "-Xmx512m" "-XX:MaxPermSize=256m" "-Djava.library.path=libswt\win32" "-DKETTLE_HOME=" "-DKETTLE_REPOSITORY=" "-DKETTLE_USER=" "-DKETTLE_PASSWORD=" "-DKETTLE_PLUGIN_PACKAGES=" "-DKETTLE_LOG_SIZE_LIMIT=" "-DKETTLE_JNDI_ROOT=" -jar launcher\pentaho-application-launcher-5.3.0.0-213.jar -lib ..\libswt\win32 -main org.pentaho.di.kitchen.Kitchen /file C:\SR\config\pentaho\visao.kjb /param:"dia=29" /param:"mes=09" /param:"ano=2016" /param:"arquivo=Realize2016" /param:"dia_util=28" /norep 

Мой журнал:

2016/09/27 11:26:03 - Reading of file MyFile.0 - Line number : 50000 
2016/09/27 11:26:03 - Validate Records.0 - Linenr 50000 
2016/09/27 11:26:03 - Discarded records.0 - Linenr 50000 
2016/09/27 11:26:04 - Reading of file MyFile.0 - Line number : 100000 
2016/09/27 11:26:04 - Validate Records.0 - Linenr 100000 
2016/09/27 11:26:04 - Discarded records.0 - Linenr 100000 
2016/09/27 11:26:05 - Reading of file MyFile.0 - Line number : 150000 
2016/09/27 11:26:05 - Validate Records.0 - Linenr 150000 
2016/09/27 11:26:05 - Discarded records.0 - Linenr 150000 
2016/09/27 11:26:06 - Reading of file MyFile.0 - Line number : 200000 
2016/09/27 11:26:06 - Validate Records.0 - Linenr 200000 
2016/09/27 11:26:06 - Discarded records.0 - Linenr 200000 
2016/09/27 11:26:07 - Reading of file MyFile.0 - Line number : 250000 
2016/09/27 11:26:07 - Validate Records.0 - Linenr 250000 
2016/09/27 11:26:08 - Discarded records.0 - Linenr 250000 

Мой коллега журнал:

2016/09/29 10:13:26 - Reading of file MyFile.0 - Line number : 50000 
2016/09/29 10:13:32 - Validate Records.0 - Linenr 50000 
2016/09/29 10:13:32 - Discarded records.0 - Linenr 50000 
2016/09/29 10:13:40 - Reading of file MyFile.0 - Line number : 100000 
2016/09/29 10:13:46 - Validate Records.0 - Linenr 100000 
2016/09/29 10:13:47 - Discarded records.0 - Linenr 100000 
2016/09/29 10:13:56 - Reading of file MyFile.0 - Line number : 150000 
2016/09/29 10:14:01 - Validate Records.0 - Linenr 150000 
2016/09/29 10:14:02 - Discarded records.0 - Linenr 150000 
2016/09/29 10:14:10 - Reading of file MyFile.0 - Line number : 200000 
2016/09/29 10:14:17 - Validate Records.0 - Linenr 200000 
2016/09/29 10:14:18 - Discarded records.0 - Linenr 200000 
2016/09/29 10:14:26 - Reading of file MyFile.0 - Line number : 250000 
2016/09/29 10:14:31 - Validate Records.0 - Linenr 250000 
2016/09/29 10:14:32 - Discarded records.0 - Linenr 250000 

Answer 1

Я, наконец, нашел то, что вызывало плохую работу во время исполнения Работы моим коллегой.

После сравнения всех переменных окружения и конфигураций в его профиле отсутствовали файлы конфигурации Kettle/Pentaho. Эти файлы были созданы Spoon, и мой коллега никогда не исполнял Spoon. Он управляет работой только с помощью кухни.

файлы были созданы в% USERPROFILE% \. Чайник \

Еще одно различие между моим профилем и его, было расположение по умолчанию установлен на ложке. Mine был установлен в en-US, в то время как его использовал системный дефолт (pt-BR).

После того, как все настройки были одинаковыми между профилями, время выполнения значительно уменьшилось: от 40 минут (в среднем) до 6 минут (в среднем).

Answer 2

Там должен быть что-то другое. Выполняется ли вы на одном аккаунте? В чем env? Windows или Linux?

Вы пытались выполнить использование сковороды/кухни? Возможно, это будет стандартизировать вашу среду?

Если вы загрузите trasformation и т.д., я посмотрю.