2014-09-04 2 views
0

Я пытаюсь загрузить кучу (несколько тысяч) файлов с использованием Python Selenium в Firefox, предоставив список ввода. Я успешно загружаюсь.Загрузите огромное количество файлов в кусках

Поскольку есть тысячи файлов, которые я хочу скачать, мне было интересно, можете ли вы предложить способ начать загрузку 10 файлов, дождаться их завершения и начать следующее 10. Как я могу это сделать?

Я попробовал fp.set_preference("browser.download.manager.closeWhenDone", True), чтобы закрыть браузер после окончания загрузки. Но это не близко.

+0

Для простого скачивания файлов Selenium - это точный инструмент WRONG. Посмотрите на что-то вроде https://www.gnu.org/software/wget/ – SiKing

+0

@SiKing О, я забыл упомянуть, что у веб-сайта есть некоторые ограничения, и это не позволит мне скачать с помощью urllib/wget/mechanize/anything такого рода. Я был бы очень признателен, если бы вы могли удалить свой downvote, так как я не слепо разместил этот вопрос, и я знаю, что делаю. Спасибо. – abn

ответ

0

Вы можете использовать rq, Celery или любые другие библиотеки, что значительно упрощает процесс сбора &.

Используя эти библиотеки, вы можете начать загрузку первых 10 файлов. Сразу после завершения этих файлов, следующие файлы начнут загружаться автоматически.

+0

Спасибо. Я попробую и дам вам знать. – abn

Смежные вопросы