Что было бы лучшей библиотекой для многопоточной уборки/загрузки с поддержкой нескольких прокси-серверов? Я посмотрел на Tkinter, он выглядит неплохо, но их так много, есть ли у кого-то конкретная рекомендация? Большое спасибо!Многопоточная загрузка через прокси в Python
Это то, что вы не можете просто сделать, передав URL вновь порождены потоков и вызов urllib2.urlopen в каждом из них, или есть более конкретные требования?
urllib2 не является потокобезопасным от того, что я видел, но я мог просто делать это неправильно, потому что я noob для потоковой передачи. Я загружаю большое количество файлов, поэтому я бы скорее использовал что-то более мощное, чем просто urllib в любом случае. – Cookies
Почти наверняка будет потокобезопасным, если вы не делаете что-то по своей сути опасное, например, пытаетесь получить доступ к одному и тому же объекту из нескольких потоков. – Kylotan
Также посмотрите на http://scrapy.org/, который представляет собой скребковый каркас, построенный на вершине скрученного.
Отлично, я ничего не вижу о поддержке прокси, но я думаю, что смогу сделать это сам. – Cookies
№. Поддержка прокси-серверов HTTP в настоящее время не реализована в Scrapy, но это будет в будущем. Для получения дополнительной информации об этом, следуйте этому билету. Установка переменной среды http_proxy не будет работать, потому что Twisted (библиотека, используемая Scrapy для загрузки страниц) не поддерживает ее. См. Этот витой билет для получения дополнительной информации. – Cookies
многопоточный файл для многих файлов или много частей одного файла? – Oduvan
много файлов, одновременно загружающих и добавляющих новые файлы, когда потоки бесплатны – Cookies