Как скопировать данные с амазонки S3 в красное смещение автоматически?

Question

Сначала я хотел бы сообщить вам, как я сейчас справляюсь.

Я обрабатываю данные вручную с S3 до красного смещения, то есть используя команду копирования в SQL Workbench. И иногда я выполняю эту команду через опцию JDBC.

Я думаю, что это неправильный вариант для копирования данных. Может быть хорошее решение для копирования. Я хочу автоматически копировать данные, когда новые данные поступают в S3. Любые решения будут высоко оценены.

спасибо.

Answer 1

Я работал бы с лямбдой.

1. вы можете вызвать lamdba, когда новый объект вставляется в S3 (see doc)

2. в зависимости, сколько данных вы должны скопировать из S3, было бы предпочтительнее, чтобы агрегировать работу так будет работать быстрее

AWS выпустила code from labs, который загружает данные из S3 ведра красных смещений.

This blog from amazon берет много документа из проекта github, чтобы узнать, как его применить на практике.

Answer 2

Подход Лямбда кажется довольно хорошим и хорошо проторенным. В качестве альтернативы также рассмотрим AWS-клей. Это не очень просто настроить, но, похоже, он создан для обработки такого рода рабочих процессов.