Загрузка изображений с помощью scrapy

Question

Я начинаю с scrapy, и у меня есть первая настоящая проблема. Это загрузка изображений. Так что это мой паук.

from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.selector import HtmlXPathSelector 
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
from example.items import ProductItem 
from scrapy.utils.response import get_base_url 

import re 

class ProductSpider(CrawlSpider): 
    name = "product" 
    allowed_domains = ["domain.com"] 
    start_urls = [ 
      "http://www.domain.com/category/supplies/accessories.do" 
    ] 

    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 
     items = [] 
     sites = hxs.select('//td[@class="thumbtext"]') 
     number = 0 
     for site in sites: 
      item = ProductItem() 
      xpath = '//div[@class="thumb"]/img/@src' 
      item['image_urls'] = site.select(xpath).extract()[number] 
      item['image_urls'] = 'http://www.domain.com' + item['image_urls'] 
      items.append(item) 
      number = number + 1 
     return items 

Когда я цитирую ITEM_PIPELINES и IMAGES_STORE в settings.py таким образом я получаю правильный URL для изображения я хочу, чтобы загрузить (скопировать вставить его в браузер для проверки).

Но когда я конец цитаты тех, я получаю следующее сообщение об ошибке:

raise ValueError('Missing scheme in request url: %s' % self._url') 
exceptions.ValueError: Missing scheme in request url:h 

и я не могу загрузить мои фотографии.

Я искал весь день и не нашел ничего полезного.

Answer 1

Я думаю, что URL-адрес изображения, который вы очистили, относительный. Для построения абсолютного использования URL urlparse.urljoin:

def parse(self, response): 
    ... 
    image_relative_url = hxs.select("...").extract()[0] 
    import urlparse 
    image_absolute_url = urlparse.urljoin(response.url, image_relative_url.strip()) 
    item['image_urls'] = [image_absolute_url] 
    ... 

---

не использовали ITEM_PIPELINES, но docs сказать:

In a Spider, you scrape an item and put the URLs of its images into a image_urls field.

Таким образом, пункт [ 'image_urls'] должен быть список изображения URL-адрес. Но ваш код:

item['image_urls'] = 'http://www.domain.com' + item['image_urls'] 

Таким образом, я предполагаю, что он перебирает свой единственный URL полукокса по полукокса - с использованием каждого в качестве URL.

Answer 2

Я думаю, что вам, возможно, потребуется предоставить свой адрес изображения в списке Пункт:

item['image_urls'] = [ 'http://www.domain.com' + item['image_urls'] ]