Поврежденные файлы при загрузке большого zip-файла с S3

Question

У меня есть zip-файл размером 1 ГБ на ведро S3. После загрузки я не могу ее распаковать. Он всегда говорит

End-of-central-directory signature not found. Either this file is not 
a zipfile, or it constitutes one disk of a multi-part archive. In the 
    latter case the central directory and zipfile comment will be found on 
    the last disk(s) of this archive. 

Позже, я загрузите его снова, используя s3cmd на этот раз. Он говорит:

WARNING: MD5 signatures do not match: computed=384c9a702c2730a6b46d21606137265d, received="b42099447c7a1a390d8e7e06a988804b-18" 

Есть ли ограничение s3 Мне нужно знать или это ошибка?

Answer 1

Спасибо @ergoithz за то, что напомнил мне, что у меня был этот вопрос :)

Проблема уже исправлена, с проблемой AWS SDK для nodejs. По-видимому, он не может загружать большие файлы с использованием данных потока fs.createReadStream(), поэтому я перешел на использование Knox, где он отлично работал

Answer 2

Этот вопрос кажется мертвым, но я спрошу его для тех, кто приземлился здесь:

многокомпонентных загрузок

Amazon S3 (в тех, которые подходят для больших файлов) производят значения ETag, который больше не соответствует MD5 файлу, так что если вы используя это как контрольную сумму (как кажется, глядя на ваш полученный MD5), это не сработает.

Лучшее, что вы можете сделать для проверки, - это то, что заголовок ContentMD5 добавляется в заголовок каждой части вашего многостраничного файла загрузки, чтобы файл не повреждался во время загрузки и добавлял ваше собственное поле метаданных MD5 для проверки данных после загрузки.