Scrapy не слушает правила отказа

По какой-то причине scrapy анализирует данные из URL-адресов в моих запрещенных правилах: Я получаю анализируемые данные из URL-адресов, содержащих/просматриваю /,/search /,/ip /.
Я не уверен, где это происходит не так.Scrapy не слушает правила отказа

Пожалуйста, сообщите, спасибо! Вы можете найти свой код ниже:

from scrapy.selector import HtmlXPathSelector 
from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 

from wallspider.items import Website 


class mydomainSpider(CrawlSpider): 
    name = "tp" 
    allowed_domains = ["www.mydomain.com"] 
    start_urls = ["http://www.mydomain.com",] 

    """/tp/ page type to crawl""" 

    rules = (Rule (SgmlLinkExtractor(allow=('/tp/',), 
     deny=(
      'browse/', 
      'browse-ng.do?', 
      'search-ng.do?', 
      'facet=', 
      'ip/', 
      'page/' 
      'search/', 
      '/[1-9]$', 
      '(bti=)[1-9]+(?:\.[1-9]*)?', 
      '(sort_by=)[a-zA-Z]', 
      '(sort_by=)[1-9]+(?:\.[1-9]*)?', 
      '(ic=32_)[1-9]+(?:\.[1-9]*)?', 
      '(ic=60_)[0-9]+(?:\.[0-9]*)?', 
      '(search_sort=)[1-9]+(?:\.[1-9]*)?',) 
      ,) 
    , callback="parse_items", follow= True), 
    ) 

    def parse_items(self, response): 
     hxs = HtmlXPathSelector(response) 
     sites = hxs.select('//html') 
     items = [] 

     for site in sites: 
      item = Website() 
      item['referer'] = response.request.headers.get('Referer') 
      item['url'] = response.url 
      item['title'] = site.xpath('/html/head/title/text()').extract() 
      item['description'] = site.select('//meta[@name="Description"]/@content').extract() 
      items.append(item) 

     return items

часть моего журнала консоли, его Грабинг/IP/страниц ?:

2013-12-11 11:21:43-0800 [tp] DEBUG: Crawled (200) <GET http://www.mydomain.com/ip/1104329> (referer: http://www.mydomain.com/tp/john-duigan) 
2013-12-11 11:21:43-0800 [tp] DEBUG: Scraped from <200 http://www.mydomain.com/ip/1104329> 
    {'description': [u'Shop Low Prices on: Molly (Widescreen) : Movies'], 
    'referer': 'http://www.mydomain.com/tp/john-duigan', 
    'title': [u'Molly (Widescreen): Movies : mydomain.com '], 
    'url': 'http://www.mydomain.com/ip/1104329'} 
2013-12-11 11:21:43-0800 [tp] DEBUG: Redirecting (302) to <GET http://www.mydomain.com/ip/17371019> from <GET http://www.mydomain.com/tp/jon-furmanski> 
2013-12-11 11:21:43-0800 [tp] DEBUG: Redirecting (302) to <GET http://www.mydomain.com/ip/17371019> from <GET http://www.mydomain.com/tp/taylor-byrd> 
2013-12-11 11:21:43-0800 [tp] DEBUG: Redirecting (302) to <GET http://www.mydomain.com/ip/17371019> from <GET http://www.mydomain.com/tp/greg-byers> 
2013-12-11 11:21:43-0800 [tp] DEBUG: Redirecting (302) to <GET http://www.mydomain.com/ip/17371019> from <GET http://www.mydomain.com/tp/tom-bowker> 
2013-12-11 11:21:43-0800 [tp] DEBUG: Crawled (200) <GET http://www.mydomain.com/ip/21152221> (referer: http://www.mydomain.com/tp/peter-levin) 
2013-12-11 11:21:43-0800 [tp] DEBUG: Scraped from <200 http://www.mydomain.com/ip/21152221> 
    {'description': [u'Shop Low Prices on: Marva Collins Story (1981) : Video on Demand by VUDU'], 
    'referer': 'http://www.mydomain.com/tp/peter-levin', 
    'title': [u'Marva Collins Story (1981): Video on Demand by VUDU : mydomain.com '], 
    'url': 'http://www.mydomain.com/ip/21152221'}

источник

2013-12-11 Jason Youk

Кажется, что нет ничего плохого в вашем коде. Распечатайте 'response.url' в методе' parse_items' и проверьте, не были ли выбраны отклоненные URL-адреса. – flyer

Вы могли бы опубликовать свой журнал консоли во время запуска паука? (замените домен, если хотите) –

@pault. Журнал консоли довольно длинный, но я надеюсь, что того, что предусмотрено, достаточно? –

я узнал, что было неправильным, страницы были перенаправлении на тип страницы это было в моем запрете. Спасибо за твою помощь! Я ценю это!

источник

2013-12-11 19:17:31

Правила вашего SgmlLinkExtractor применяются при извлечении ссылок со страниц. И в вашем случае некоторые из ваших запросов .../tp/... перенаправляются на .../ip/... страниц. не

Redirecting (302) to <GET http://www.mydomain.com/ip/17371019> from <GET http://www.mydomain.com/tp/tom-bowker>

allow и deny модели действительно не относятся к URL-адресам после перенаправлений.

Вы можете отключить следующие переназначения в целом, установив REDIRECT_ENABLED в False (см RedirectMiddleware)

источник

2013-12-13 11:49:48

Огромное спасибо! Я думаю, что я выключу перенаправление. –

Scrapy не слушает правила отказа

ответ

Смежные вопросы