Я ищу самый быстрый способ передачи ~ 100 000 изображений с сервера на мой ковш Amazon S3.Передача 100 000 изображений на S3. Какой самый быстрый способ?
Будет ли это проходить через каждое изображение и выполнять отдельный запрос PUT? Я надеялся, что есть более быстрый путь, но ничего не нашел.
Не знаком с S3, но если нет массовой загрузки, вы можете ускорить процесс, перейдя по вашим изображениям в несколько параллельных процессов, пока не превысите сетевое соединение.
Вы можете попробовать использовать управление загрузкой партии . Или, если это одноразовая задача, я считаю использование Amazon sample.
В любом случае, если вы хотите использовать запрос PUT/POST для загрузки, один файл за запрос - это ограничение API Amazon, и мне кажется, что ничего не поделаешь.
Возможно, попробуйте уличную почту?
Мы (CloudOpt) построил решение для оптимизации передачи данных в Amazon S3 называется CloudOptimizer. Он использует симметричную дедупликацию, сжатие и множество других методов. Взгляните и дайте мне знать, что вы думаете. Я хотел бы получить ваши отзывы.
s3funnel. Я использовал эту последнюю неделю для передачи около 3 000 000 изображений на S3. Он многопоточный, поэтому имеет тенденцию быть очень быстрым. Я протестировал ряд коммерческих и open-source инструментов, и s3funnel на сегодняшний день является лучшим IMO.
Я не вижу способа указать s3funnel в каталоге - вам вручную нужно было составить список ваших 30000000 файлов? –
Я не использовал s3funnel какое-то время - инструмент awscli теперь имеет параметры синхронизации S3, поэтому я использовал это вместо этого. –
IIRC правильно, мне нужно было перенести файлы в корень ведра в этом случае. –
Что случилось с ftp? –
@Robert Massaioli FTP не поддерживается в S3. –