Использование boto для создания конвейера данных AWS для RedShiftCopyActivity

Question

Я пытаюсь переместить данные из s3 в redshift и хочу обеспечить уникальность первичных ключей в redshift. Я понял, что сама команда копирования не может этого сделать. Тем не менее, я заметил, что RedshiftCopyActivity, доступный через конвейер данных AWS, позволяет использовать флаг «OVERWRITE_EXISTING», который, по крайней мере, позволит принудительно выполнить первичный ключ.

Мне было интересно, можно ли использовать boto для достижения этого, и если кто-то может указать мне пример такого использования.

Answer 1

Я думаю, что boto может создать конвейер данных для RedshiftCopyActivity.

Вот документация о том, как установить определение в конвейер данных.

https://boto3.readthedocs.org/en/latest/reference/services/datapipeline.html#DataPipeline.Client.put_pipeline_definition

А вот пример определения для RedshiftCopyAcitivty

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-copydata-redshift-define-pipeline-cli.html