Scrapy получить все внешние ссылки URL-адреса

Question

Я использую scrapy для того, чтобы развернуть весь сайт (allow_domains = mydomain.com). Теперь я хочу получить все внешние ссылки (в другие домены) с текущего URL-адреса. Как я могу интегрировать это в свой spider.py, чтобы получить список со всеми внешними URL-адресами?

Answer 1

Попробуйте использовать Link Extractors. Это может быть пример:

from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.item import Item, Field 


class MyItem(Item): 
    url= Field() 


class MySpider(CrawlSpider): 
    name = 'twitter.com' 
    allowed_domains = ['my-domain.com'] 
    start_urls = ['http://www.my-domain.com'] 

    rules = (Rule(SgmlLinkExtractor(), callback='parse_url', follow=False),) 

    def parse_url(self, response): 
     item = MyItem() 
     item['url'] = response.url 
     return item