Jitterbit4 vs Jitterbit 5+ vs Talend vs Другие инструменты ETL

Question

Пока я нахожу Jitterbit 4 довольно мощным инструментом, я думаю, что моя компания и я как бы максимизировали возможности v4 вещи, или так кажется.

Я пытаюсь сохранить жизненно важные жизненные процессы в бизнесе и обнаружив, что я плаваю против прилива.

Любой опыт улучшения, который нужно получить, чтобы перейти к более поздней версии Jitterbit, которые делают этот маршрут стоящим или время для перехода на более удобную платформу? Я использовал в прошлом Business Objects DM, но я не думаю, что наш бюджет будет растянут на это.

Я провел некоторое ограниченное исследование, но мне нужна дополнительная информация, чем некоторые обобщенные цитаты из блога, чтобы сформировать случай для обновления или перемещения платформы.

Я хотел бы назначить несколько автоматических триггеров - например, M-F каждые 15 минут, S & S каждый час. Было бы неплохо открыть несколько проектов одновременно в среде IDE.

Мне нужно следить за несколькими процессами, которые берут данные из файлов CSV или таблиц MySQL/MSSQL, а также загружать их в Netsuite CRM или извлекать данные из Netsuite CRM и переходить на MySQL/MSSQL. (взаимодействие с Netsuite осуществляется через SOAP-запросы с использованием XML). До ноября эти процессы обычно выполнялись, возможно, 3 или 4 раза в день, но ряд процессов теперь выполняется с интервалом 15 или 5 минут. Я проделал некоторую оптимизационную работу, но сервер работает на максимальной скорости - предел заключается в том, что мы можем обновлять до 2000 записей в час для Netsuite. И компания хочет сделать больше в 2015 году.

Предел для Netsuite является абсолютным - однако проблемы, которые я хочу разобраться, включают в себя лучший контроль за протоколированием - я не могу отключить протоколирование бит, t хочет или должен быть зарегистрирован. Я хотел бы иметь возможность открыть два проекта в одной среде IDE, поэтому я могу сравнить код. И я хотел бы иметь возможность открыть IDE разработки на одном сервере, но открыть панель администратора для просмотра другого сервера - используемая среда IDE позволяет использовать только один логин.

Если Talend или что-то еще может предложить такие преимущества, возможно, это путь, особенно, поскольку Jitterbit не является навыком, найденным во многих DevOps здесь, в Великобритании, но Talend и другие вещи.

Answer 1

Я собираюсь начать с этого, сказав, что у меня действительно нет никаких знаний о Jitterbit вообще, поэтому нет никакого реального сравнения. Другая вещь, которую нужно добавить, заключается в том, что некоторые из необходимых вам продуктов доступны в корпоративных лицензиях Talend, но не в бесплатной версии Talend Open Studio (TOS). Если у вас абсолютно нулевой бюджет, вы, вероятно, можете получить TOS и использовать внешние скрипты для создания своих рабочих мест и проектов и запускать их с помощью Cron или каким-либо другим способом запуска встроенных JAR.

Начну с обсуждения того, что вы можете сделать с корпоративными изданиями Talend (например, Talend Enterprise Data Integration).

Корпоративные издания Talend поставляются с административным центром Talend (TAC), который может использоваться для планирования заданий на нескольких триггерах и развертывания на выбранных серверах выполнения работ для выполнения заданий. Трудно настроить триггеры типа Cron каждые 15 минут M-F, а затем еще один, чтобы запускать каждый час в субботу и воскресенье. TAC также обеспечивает централизованную ссылку на все конфигурации и настройки кластера Talend, а также на создание пользователей и назначение привилегий. Вы также можете увидеть некоторые записи, когда Talend настроен на использование Консоли мониторинга активности (AMC), а затем любое задание уровня работы можно настроить в самом задании, а затем просмотреть в истории выполнения задачи.

Я не уверен, что вы имеете в виду возможность одновременного открытия двух проектов, чтобы иметь возможность сравнивать код и то, для чего вы его используете, но вы можете одновременно открывать несколько заданий, чтобы посмотреть на них , Несколько проектов одновременно - это не выход. Думаю, вы могли бы установить Studio дважды в отдельных местах с отдельными рабочими пространствами (Talend Studio основана на Eclipse), а затем открыть проект в каждом и сравнить их визуально. Я не совсем уверен, почему вы это сделаете.

Если вы обнаружите, что у вас много запущенных процессов, которые максимизируют ваш сервер выполнения заданий, вы можете легко добавить дополнительные серверы выполнения заданий и развернуть некоторые задачи на дополнительный сервер выполнения заданий. К сожалению, вы не можете просто добавить кучу серверов для выполнения заданий, а баланс нагрузки TAC - работать через них. С помощью всего лишь TOS вы всегда можете просто добавить больше товарных машин, которые вы вручную разворачиваете готовые двоичные файлы и выполняете (он просто запускает двоичную JAR, поэтому им нужна только JRE). Однако это может быть немного больно.

В корпоративных изданиях Talend также имеется централизованное управление исходными текстами в виде SVN (хотя и довольно ублюдочное), что полезно, если вы когда-либо намереваетесь добавить больше членов команды в качестве установки TOS в исходное управление can be a pain.

Что касается нестандартных предметов, то Talend генерирует разумно исполняемый Java-код (легко соответствует любым моим требованиям, практически без усилий в оптимизации до сих пор). Например, я имею тенденцию касаться 3 запросов в секунду при работе с внутренними сетевыми веб-службами. Очевидно, что если Netsuite просто требует много времени, чтобы ответить на каждый запрос, это может не помочь.

У Talend есть готовые соединители, которые легко соединяются со всеми указанными вами источниками данных минус Netsuite напрямую (хотя на TalendForge есть unofficial NetSuite connector), но, как и в случае с Jitterbit, вы должны иметь возможность легко выполнять XML через SOAP для разговора к нему.

Если бы я был вами, я бы загрузил TOS и посмотрел, делает ли он то, что вам нужно. Если вы считаете, что можете воспользоваться некоторыми возможностями предприятия, они предлагают бесплатную пробную 30-дневную пробную версию.

Возможно, вы захотите попробовать и быть критическим и подумать о том, что вы, возможно, проиграете, уйти от Jitterbit.