Могу ли я добавить ссылки вручную в LinkExtractor?

Question

Похоже, что LinkExtractor не может извлекать ссылки из данных, которые были загружены/сгенерированы с помощью запроса ajax внутри функции (see here)!

Итак, есть ли способ добавить ссылки ссылки в функцию, а затем добавить их вручную в LinkExtractor или заставить LinkExtractor захватить их?

Answer 1

Я не уверен, правильно ли я вас здесь понял, но, похоже, вы сбиваете с толку LinkExtractor с CrawlSpider.rules. LinkExtractor - это просто объект, который извлекает ссылки из ответа, где атрибут правил описывает правила обхода для CrawlSpider.

Если вы хотите использовать CrawlSpider в то время как вручную извлекая некоторые ссылки самостоятельно, вы можете сделать это просто:

from scrapy.linkextractors import LinkExtractor 
from scrapy.spiders import CrawlSpider 
class MySpider(CrawlSpider): 
    name = 'myspider' 
    le = LinkExtractor() 
    rules = [Rule(le, callback='parse_page')...] 

    def parse_page(self, response): 
     items = #parse items 
     for item in items: 
      yield item 
     ajax_url = #find ajax url for next page or something 
     if ajax_url: 
      yield Request(ajax_url, self.parse_ajax) 

    def parse_ajax(self, response): 
     links = self.le.extract_links(response) 
     for link in links: 
      yield Request(link.url, self.parse_page)