Как использовать прокси-сервер с помощью scrapy в сценарии?

Я не могу понять, как использовать прокси-сервер Browsermob с помощью scrapy при использовании подхода, основанного на сценарии. Кто-нибудь приходил на этот прецедент раньше? Любая помощь будет большой, я использую подход в качестве описателя here Как использовать прокси-сервер с помощью scrapy в сценарии?

источник

2015-12-10 squashy-coder

В вашем сценарии (я предполагаю, что вы используете Bash) определить ваш прокси-сервер, такие как:

http_proxy = 'http://user:[email protected]:3128'

прямо перед тем, как вызвать SCRAPY скрипт. В режиме scrapy вам нужно включить прокси-промежуточное программное обеспечение.

См. here и here для получения дополнительной информации.

источник

2015-12-10 14:14:04 mirosval

Привет, спасибо, что ответили. Я использую скрипт python, это не требует, чтобы вы создали проект, и поэтому я не уверен, как включить промежуточное программное обеспечение. Вы можете видеть, что я имею в виду, если вы будете следовать ссылке, которую я опубликовал в вопросе. Еще раз спасибо.EDIT: Я изменил ссылку на правильный, извинился. –

В вашем экземпляре 'CrawlerProces' вы можете передать его как настройки, см. Http://doc.scrapy.org/en/latest/topics/api.html#scrapy.crawler.CrawlerProcess – mirosval

Промежуточное программное обеспечение? –

Как использовать прокси-сервер с помощью scrapy в сценарии?

ответ

Смежные вопросы