Как использовать s3distcp для выбора диапазонов дат?

Question

У меня есть журналы, которые выглядят как внизу в s3 с отметкой времени в названии. Я хочу использовать s3distcp для получения данных в EMR, чтобы я мог использовать куст.

https://s3.amazonaws.com/mybucket/test/201305031003_0_ubuntu.gz 
https://s3.amazonaws.com/mybucket/test/201305031004_0_ubuntu.gz 
https://s3.amazonaws.com/mybucket/test/201305031005_0_ubuntu.gz 
https://s3.amazonaws.com/mybucket/test/201305031006_0_ubuntu.gz 

Как использовать s3distcp для выбора диапазона дат? Например. от 201303031003 до 201305031003? То есть разница в два месяца

Answer 1

Вы можете использовать --srcPattern s3distcp option, чтобы указать регулярное выражение, чтобы выбрать только месяцы, которые вы хотите скопировать.