Scrapy with TOR (Windows)

Question

Я создал проект Scrapy с несколькими пауками, чтобы сканировать некоторые веб-сайты. Теперь я хочу использовать TOR для:

1. Скрыть мой ip с обходных серверов;
2. Свяжите мои запросы с разными ips, имитируя доступ от разных пользователей.

Я прочитал некоторую информацию об этом, например: using tor with scrapy framework, How to connect to https site with Scrapy via Polipo over TOR?

Ответы из этих ссылок не были полезны для меня. Каковы шаги, которые я должен предпринять для правильной работы Scrapy с TOR?

EDIT 1:

Учитывая ответ 1, я начал устанавливать TOR. Когда я пользуюсь Windows, я скачал пакет TOR Expert Bundle (https://www.torproject.org/dist/torbrowser/5.0.1/tor-win32-0.2.6.10.zip) и прочитал главу о том, как настроить TOR как реле (https://www.torproject.org/docs/tor-doc-windows.html.en). К сожалению, информации о том, как это сделать в Windows, мало. Если я распакую загруженный архив и запустил файл Tor \ Tor.exe, ничего не произойдет. Однако в диспетчере задач я вижу, что создается новый процесс. Я не знаю, как лучше всего двигаться дальше.

Answer 1

Подробный шаг за шагом Объяснение здесь http://blog.privatenode.in/torifying-scrapy-project-on-ubuntu/

Основные шаги есть:

1. установить Tor и Polipo (для Linux это может потребовать, чтобы добавить репозиторий).
2. Настройте Polipo для разговора с TOR, используя SOCK Connection (см. Ссылку выше).
3. Создание пользовательского Middleware использовать Tor в качестве HTTP-прокси и случайным образом изменить агента пользователя SCRAPY
4. подавить предупреждение амортизации сверху, например, написать 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None, вместо 'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,

Что вы Szenario ? Думали ли вы о аренде прокси-серверов?