Crawl весь сайт, за исключением ссылок по определенному пути

Question

У меня лоскутной паук:

from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 

class ExampleSpider(CrawlSpider): 
    name = "spidermaster" 
    allowed_domains = ["www.test.com"] 
    start_urls = ["http://www.test.com/"] 
    rules = [Rule(SgmlLinkExtractor(allow=()), 
        follow=True), 
      Rule(SgmlLinkExtractor(allow=()), callback='parse_item'), 
    ] 
    def parse_item(self,response): 
     self.log('A response from %s just arrived!' % response.url) 

Что им пытаются просканировать всю страницу, за исключением того, что находится под определенным путем.

Например, я хочу сканировать весь тестовый веб-сайт, за исключением www.test.com/too_much_links.

Заранее спасибо

Answer 1

я обычно делаю это следующим образом:

ignore = ['too_much_links', 'many_links'] 

rules = [Rule(SgmlLinkExtractor(allow=(), deny=ignore), follow=True), 
     Rule(SgmlLinkExtractor(allow=(), deny=ignore), callback='parse_item'), 
]