Разделить файлы S3 по строкам и помещать в другое ведро

Question

У меня есть файлы среднего размера в S3 (который я получил от EMR), и каждая строка имеет ключ и объект, которые я бы хотел разместить в отдельном ведре.

Есть ли способ реализовать это с использованием конвейера данных?

Answer 1

Если вы хотите скопировать эти данные в другое ведро s3, вы можете использовать CopyActivity в datapipeline для этого. Ваш конвейер будет иметь S3DataNode в качестве входа в CopyActivity и выход S3DataNode. Вы можете начать, опробовав один из шаблонов, доступных в консоли данных AWS, и отредактируйте свой конвейер, чтобы иметь объекты, о которых я упоминал выше.