1
Я новичок в Scrapy, и я просто пытался соскрести http://www.diseasesdatabase.com/Scrapy вид возвращает пустую страницу
Когда я типа scrapy view http://www.diseasesdatabase.com/, он отображает пустую страницу, но если загрузить страницу и сделать это на локальном файле , он отображается как обычно. Почему это происходит?
Все хорошо и хорошо, но я все равно хотел бы знать, почему он возвращает пустую страницу. –
+1. Просто, я думаю, что ** scrapy ** действительно должен помещать это как первую страницу примечания в свои документы. Просто, что многие люди впали в это и задали этот похожий вопрос ха-ха. – Anzel
@RahulSarma, потому что эти сайты проверяют заголовок User-Agent, как, скорее всего, метод анти-веб-скрепок. – alecxe