Правило запрета скрининга

Question

Как я могу отрицать выскабливание определенных частей веб-сайта, используя Правила в Scrapy.

Я хочу, чтобы Scrapy выполняла обход ссылок на mathcing www.example.com/help/nl/ en, лишив всех ссылок, соответствующих www.example.com/help/en/ и www.example.com/website/.

У меня есть следующий код:

class MySpider(CrawlSpider): 
    name = 'myspider' 
    allowed_domains = ['example.com', ] 
    start_urls = ['https://www.example.com/help/nl/', ] 
    rules = (
     Rule(SgmlLinkExtractor(allow=(r'/help/nl/',)), callback='parse_response'), 
    ) 

Но ползает весь сайт.

UPDATE

Я хочу Scrapy следовать только ссылки, содержащие/помощь/нл/

Rule(SgmlLinkExtractor(allow=(r'/help/nl/',), deny=(other than /help/nl/), callback='parse_response') 

Answer 1

попробовать это

class MySpider(CrawlSpider): 
    name = 'myspider' 
    allowed_domains = ['example.com', ] 
    start_urls = ['https://www.example.com/help/nl/', ] 
    rules = (
     Rule(SgmlLinkExtractor(allow=(r'/help/nl/',),deny=(r'/en/$',r'/website/$',)), callback='parse_response'), 
    ) 

Answer 2

Мое решение было очень похоже на @akhter ответ. Однако я не использовал регулярное выражение.

я использовал:

deny=('/help', '/website') 

Он должен сделать так, чтобы он блокирует все, что имеет, что в URL (/ помощь/или веб-сайте)

Надеется, что это помогает