У нас есть 4 источника данных. Источники данных являются внутренними, и мы можем напрямую подключаться к базе данных. Для третьего источника данных мы получаем плоский файл (.csv) и вынуждены извлекать данные.4rth datasource является внешним, и мы не можем получить к нему доступ напрямую.Проблема, связанная с интеграцией различных источников данных
Нам нужно извлечь данные из всех 4 источников данных, запустить на них бизнес-правила и сохранить их в нашей базе данных. У нас есть веб-приложение, которое работает поверх этой базы данных. Также каждый месяц мы должны извлекать данные и делать любые обновления/удаления/добавления и т. Д. К существующим данным.
Я в значительной степени не осведомлен об этом процессе. Также вы можете указать несколько хороших книг, чтобы изучить эту тему.
Это текущие подходы, о которых я думал.
- Чтобы написать внутренний веб-сервис, который будет разговаривать с внутренними данными и извлекать данные. Создайте обработчик внешнего источника данных с помощью промежуточного программного обеспечения (mqseries уже настроен для этого в другом существующем проекте, планируя его повторно использовать). Данные PUll из csv-файл снова с помощью Java. На этих данных запускаются некоторые бизнес-правила с Java. Используйте эти данные. Этот подход может работать в моей dev-блоке, но не уверен, что все проблемы могут возникнуть в prod (особенно из-за синхронизации).
- Извлеките данные из внутреннего с помощью простого java-соединения jdbc. Для оставшихся 2 получите плоские файлы, дамп данных, используя sql loader. Все данные сначала отправляются на временные таблицы. Run busines управляет через pl/sql и использует.
- Используйте некоторый инструмент ELT как Informatica тянуть data.write бизнес-правил в Perl (вызываемые Informatica)
Спасибо.