Redshift команда копирования рекурсивный сканирование

Question

Можно скопировать все файлы в корневой директории/ведре

Пример структуры папок:

/2016/01/file.json 
/2016/02/file.json 
/2016/03/file.json 
... 

Я попытался с помощью следующей команды:

copy mytable 
FROM 's3://mybucket/2016/*' 
CREDENTIALS 'aws_access_key_id=<>;aws_secret_access_key=<>' 
json 's3://mybucket/jsonpaths.json' 

Answer 1

По-видимому, это просто, как изменение исходного кода на s3://mybucket/2016/, никаких подстановочных знаков не требуется.

Answer 2

Присвойте префикс для загрузки, и все объекты Amazon S3 с этим префиксом будут загружены (параллельно) в Amazon Redshift.

Примеры:

copy mytable 
FROM 's3://mybucket/2016/' 

будет загружать все Objets хранится в: mybucket/2016/*

copy mytable 
FROM 's3://mybucket/2016/02' 

будет загружать все Objets хранящиеся в: mybucket/2016/02/*

copy mytable 
FROM 's3://mybucket/2016/1' 

будет загружать все Objets хранящиеся в: mybucket/2016/1* (например, 10, 11, 12)

В принципе, он просто гарантирует, что объект начинает с заданной строкой (включая полный путь).