Переезд из ETL в ELT?

Question

Хотелось бы узнать, возможно ли организация изменить процесс интеграции данных с ETL на ELT, чтобы уменьшить время загрузки? и что, если инфраструктура DWH не соответствует?

Answer 1

Я бы сказал, что это зависит от вашей целевой платформы DWH и ее производительности, а также от способности выполнять преобразования внутри. Я делал это в прошлом с Teradata DWH, где мы решили позволить системе Teradata делать тяжелый подъем, так как инструмент, который мы использовали, просто не мог выполнять преобразования, и мы могли бы написать SQL, который был бы намного более эффективным.

Также вы используете инструмент ETL? Существует ли потенциал оптимизации?

Answer 2

Мы реализовали аналогичную стратегию для вас, используя CDC в качестве инструмента для сбора данных, а затем SSIS (на самом деле взрослая версия) для переноса данных через задание. В нашем случае часть SSIS просто выгружает данные в промежуточную БД, периодически покидает основной сервер производственных данных клиента (разделение ресурсов), а затем хранимые процедуры в промежуточной БД берут на себя выполнение сложной операции преобразования. Таким образом, мы можем выводить на несколько целей, поскольку у нас есть обе цели DW и DM для предоставления данных в зависимости от источника. Это позволяет использовать как гибкость, так и снимать тяжелый подъем со стороны Извлечения, а также значительно упростить график технического обслуживания изменений.

Answer 3

Переключение между ETL and ELT может зависеть от многих факторов: деловой потребности, использования хранилища данных, используемых инструментов ETL/ELT и того, что доступно, источников данных и возможностей персонала поддержки/администратора. Поскольку ELT все еще созревает, для работы не существует широты доступных инструментов. Если ваш бизнес может справиться с возможностью наложения большей части работы по преобразованию или если вам повезло найти инструмент, который делает то, что вам нужно; то ELT является разумным переключателем.

В зависимости от размера и структуры ваших данных время загрузки может уменьшиться. Однако ваш хранилище данных на базе ETL не может быть структурировано для поддержки ELT. И поскольку ELT выполняет преобразования во время запроса, если данные загружаются в структуру схемы, которая не оптимизирована для запросов, это может быть вашим узким местом. Репозиторий с неправильной структурой, вероятно, создает больше проблем, чем переключение на ELT.

Итак, чтобы ответить на ваш последний вопрос: все зависит от того, как инфраструктура хранилища данных и структура схемы не совпадают. Вам нужна вычислительная мощность для обработки специальных запросов с помощью преобразований. Вам нужна структура DWH, которая поддерживает загрузку в основном всех ваших данных и удобна для запросов.