Периодически движущиеся результаты запроса от Redshift до S3 bucket

Question

У меня есть данные в таблице в кластере Redshift. Я хочу периодически запускать запрос в таблице Redshift и хранить результаты в ведре S3.

Я буду выполнять некоторые преобразования данных по этим данным в ведро S3 для подачи в другую систему. Согласно документации AWS, я могу использовать команду UNLOAD, но есть способ запланировать это периодически? Я много искал, но я не нашел никакой соответствующей информации об этом.

Answer 1

Я не верю, что Redshift имеет возможность периодически планировать запросы. Для этого вам нужно будет использовать другую услугу. Вы можете использовать функцию лямбда, или вы можете запланировать задание cron на экземпляре EC2.

Answer 2

Для выполнения этой задачи вы можете использовать инструмент планирования, например Airflow. Воздушный поток, по-видимому, подключается к Redshift и S3. У вас может быть действие DAG, которое периодически проверяет Redshift и выгружает данные из Redshift на S3.

Answer 3

Я считаю, что вы ищете услугу передачи данных AWS.

Вы можете скопировать данные с красного смещения на s3 с помощью RedshiftCopyActivity (http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-redshiftcopyactivity.html).

я копирую соответствующий контент из приведенного выше URL для будущих целей:.

"Вы также можете копировать с Amazon Redshift на Amazon S3 с помощью RedshiftCopyActivity Для получения дополнительной информации см S3DataNode Вы можете использовать SqlActivity в. выполнять SQL-запросы по данным, которые вы загрузили в Amazon Redshift. «

Сообщите мне, если это поможет.