получение Запретный robots.txt: Scrapy

Question

ползая сайт как https://www.netflix.com, получение Запретный robots.txt: https://www.netflix.com/>

ОШИБКА: Нет ответа скачал для: https://www.netflix.com/

Answer 1

В новой версии (scrapy 1.1), запущенной 2016-05-11, сканирование сначала загружает файл robots.txt перед сканированием. Для того, чтобы изменить это изменение поведения в вашем settings.py с ROBOTSTXT_OBEY

ROBOTSTXT_OBEY=False 

Вот такие release notes

Answer 2

Прежде всего вам нужно убедиться, что вы изменяете свой агент пользователя в запросе, иначе пользовательский агент по умолчанию будет заблокирован.