2015-10-07 5 views
1

У меня есть EXE-файл большого размера (> 100 МБ), который мне нужно загрузить на s3. Теперь, когда у меня есть надежная сеть, я хочу ускорить этот процесс, разделив файл на куски, а затем загрузив эти куски параллельно. Но я не знаю, как объединить эти куски обратно вместе, чтобы получить исходный exe?Как слить два файла в aws s3

Хотя python обеспечивает способ загрузки файла в куски, но эти куски загружаются серийно. Есть ли способ загрузить эти куски параллельно, а затем объединить их вместе?

+1

Я предполагаю, что ограничивающим фактором является скорость загрузки вашего интернет-соединения. Допустим, ваша загрузка - 20 Мбит. Как, собственно, будет отправлять 2x10Mbit быстрее, чем 1x20Mbit? Также S3 не обеспечивает никакой вычислительной мощности. Вы можете развернуть экземпляр EC2, чтобы получать трафик и нажимать его на S3. – Bjorn

+0

Похоже, вы ищете 7zip, как функции, но с python Api – vvs

+0

Согласитесь с Bjorn .... Разделение файла не будет увеличивать скорость. Если у вас нет скорости гигабита n/w, в этом случае время и ресурсы, потраченные на разделение и загрузку, могут быть более значительными, чем загрузка в целом. – vvs

ответ

2

S3 уже имеет поддержку для этого.

Это называется многочастной загрузкой: http://docs.aws.amazon.com/AmazonS3/latest/dev/mpuoverview.html

Использование клиента (например, s3cmd http://s3tools.org/kb/item13.htm), который знает, как это сделать, или использовать сделать это самостоятельно через SDK и ваш любимый язык.