Является ли boto медленным для больших файлов?

Question

Я делаю несколько тестов производительности для загрузки больших файлов по заказу до 100 МБ +. Я читал сообщения о разрыве вещей и загрузке фрагментов параллельно, но я просто пытаюсь понять, как быстро может быть большой файл.

Когда я загружаю и наблюдаю за исполнением с помощью collectl, второй раз, я никогда не получаю более 5 МБ/сек. С другой стороны, если я уменьшу размер файла до 50 МБ, я смогу делать закачки со скоростью 20 Мбайт/с.

Есть ли какая-то магия, основанная на размер файла? есть ли способ сделать загрузку моего одного 100 Мбайт быстрее? Что произойдет, если это будет 500 МБ или даже 5G?

Хмм, я пробовал его несколько раз и последовательно получал 5 МБ/с, и теперь, когда я попробовал это снова, я получил 15. Это потому, что я использую пропускную способность?

-Марк

Answer 1

Существует, безусловно, не любая магия происходит в Бото, что бы учесть изменчивость вы наблюдаете. В этом уравнении имеется так много переменных, например. ваше собственное подключение к Интернету, подключение вашего провайдера к магистрали, общий сетевой трафик, нагрузку на S3 и т. д., что чрезвычайно сложно получить окончательный ответ.

В общем, я обнаружил, что могу достичь наилучшей производительности, используя многостраничную загрузку и некоторый параллелизм. Утилита командной строки s3put в boto - пример одного из способов сделать это. Кроме того, если ваш ведро S3 находится в определенном регионе, вы можете увидеть лучшую производительность, если вы подключаетесь к этой конкретной конечной точке, а не к общей конечной точке S3.