Импорт данных из URL в Amazon S3

Question

У меня есть файл с предварительно подписанным URL. Я хотел бы загрузить этот файл непосредственно в мой ведро S3, не загружая его сначала (я знаю, как это сделать с промежуточным шагом, но я хочу его предотвратить).

Любое предложение? Заранее спасибо

Answer 1

Существует не метод, поддерживаемый S3, который выполнит то, что вы пытаетесь сделать.

S3 не поддерживает тип запроса, который говорит, по существу, «перейдите к этому URL-адресу и все, что вы получите оттуда, сохраните его в моем ковше под следующим ключом».

Единственный вариант здесь - получить то, что вы хотите, а затем загрузить его. Если объекты большие, и вы не хотите выделять необходимое дисковое пространство, вы можете получить его по частям от источника и загрузить его по частям с помощью многостраничной загрузки ... или если вы пытаетесь сохранить пропускную способность где-нибудь, даже очень маленький экземпляр t1.micro, расположенный в том же регионе, что и ведро S3, вероятно, даст вам очень приемлемую производительность для выполнения операции выборки и загрузки.

---

Единственное исключение из этого правила, где вы копируете объект из S3, S3, и объект находится под 5 ГБ. В этом случае, вы посылаете PUT запрос на целевой ведро, сопровождающееся:

x-amz-copy-source: /source_bucket/source_object_key 

Это не совсем «URL», и я предполагаю, что вы не означает, что копирование из ведра в ведро, где у вас есть оба ведра, или вы бы попросили это более прямо ... но это единственное, что S3 имеет то, что похоже на поведение, которое вы ищете вообще.

http://docs.aws.amazon.com/AmazonS3/latest/API/RESTObjectCOPY.html

Вы не можете использовать подписанный URL здесь ... учетные данные, используемые для отправки PUT запроса должны иметь разрешения как принести и магазин.