Решение для интеграции данных?

Question

В моей компании у нас есть ряд каналов и обработки данных, которые выполняются в любой день. Количество фидов и этапов обработки начинает выдавать возможность управлять им ad-hoc, поскольку он управляется в настоящее время. Есть ли хорошее решение, которое помогает при регистрации и управлении/планировании зависимостей?

Например:
A: Когда файл х FTP упал в директории D1, стартует обработки шага B
B: Загрузить плоский файл в DB1
C: Когда файл у есть FTP упал в директории D2, удар выкл. Шаг D
D: Загрузите плоский файл в DB11
E: Когда выполняются операции B и D, переверните данные и загрузите новые данные в DB111.
F: Когда Шаг E выполняется, запуск процесс приложения P
G: и т.д. ...

Я хочу, чтобы эти шаги, чтобы запустить в нужное время, не говоря уже, если B не может, нет никаких оснований для выполнения шагов E & F, но я все еще мог запустить C & D. Когда я повторно запустить B успешно, он должен вызывать только E & F, чтобы повторно запустить, а не C & D.

Мы .NET,/C#/Sql Server, и я уже знаком с SSIS. Это действительно лучшее, что есть? Это хорошо управляет шагами, но не внешними зависимостями или протоколированием. Рекомендуется использовать Open Source (.NET), но не обязательно.

Answer 1

Возможно, вы захотите изучить служебные автобусы. Некоторые опции:

1. MassTransit (http://docs.masstransit-project.com/en/latest/overview/backstory.html) Несмотря на то, что он говорит на странице «Мы не делаем FTP-> WS-deathstar-> BS (не то, что вы не можете, ее просто не в коробке) «.

2. Mule ESB. (http://www.mulesoft.org/) Открытый исходный код и Java. Вы можете определенно использовать его для FTP, мониторинга каталогов, вызовов в базу данных с JDBC и т. Д.

3. Windows Azure Service Bus. (http://www.windowsazure.com/en-us/services/messaging/) Облако основано и хорошо для обмена сообщениями. Вы можете писать рабочие роли для мониторинга FTP и т. Д.