Программное обеспечение для загрузки данных

Question

Мы имеем дело с данными научных исследований и имеем объемы и объемы данных, собранных в разных форматах файлов шаблонов (excel, csv, txt, xml и т. Д.). Мы использовали старые устаревшие программы C (разработанные собственными силами) для загрузки этих данных в наши базы данных. (Мы используем inres как нашу СУБД). Есть ли какое-либо программное обеспечение с открытым исходным кодом, которое доступно для процесса ETL (извлечение, преобразование, загрузка) ?. Каковы были ваши впечатления, если вы использовали их?

Answer 1

Здесь вы найдете решение с открытым исходным кодом для импорта нескольких форматов файлов в систему баз данных или другой тип системы.

http://talend.com/index.php

В компании я работаю мы используем службы интеграции SQL Server, которая делает подобные вещи, но он должен прийти с SQL Server, если вы используете это.

Answer 2

Существует набор инструментов с открытым исходным кодом для инструментов bi и etl. Посмотрите на Pentaho. Я считаю, что это инструмент etl, называемый «чайник» - довольно богатый набор функциональных возможностей, инструменты gui для процесса etl.

Answer 3

Мы используем СУБД/КОПИЯ, но похоже, что он больше не находится в производстве. Он имеет интерфейс GUI для настройки скриптов, или вы можете их вручную записать.

Answer 4

Основываясь на том, что говорят другие пользователи Ingress, 2, о которых довольно хорошо говорят, это Talend и Pentaho.

Pentaho сайт: http://www.pentaho.com/
Talend сайт - как уже было сказано Павлом: http://talend.com/index.php