Передача аргументов на aws Data Pipeline

Question

есть ли у кого-нибудь опыт работы с Data Pipeline?

Я пытался выяснить, есть ли способ передать аргументы между действиями в Трубопроводе. к сожалению, документация aws не очень помогает в этих проблемах ... позволяет сказать, что у меня есть ShellCommandActivity и EmrActivity. я хотел бы получить строку из моей ShellCommandActivity, что я могу использовать позже в качестве аргумента для моего EmrActivity (позволяет сказать, что имя файла или путь s3) или, возможно, для других объектов в трубопроводе - например DataNode

любая помощь была бы очень благодарна

Answer 1

Одним из способов добиться этого было бы позволить сценарию оболочки записывать строку в некоторый файл в S3. В EMR-активности прочитайте файл. Также добавьте активность EMR зависит от ShellCommandActivity