2016-06-17 4 views
-1

я хочу гусеничным сайт this link но когда я Crawler с помощью командыSCRAPY ошибка ImportError: Нет Модуль не назвал пункты

scrapy crawl metacritic -o metacritic.json -t json 

его говорит ImportError: No module named items ли кто-нибудь может помочь?

источник metacritic_spider.py:

from scrapy.spider import BaseSpider 
from scrapy.selector import HtmlXPathSelector 
from metacritic.items import MetacriticItem 
class MetacriticSpider(BaseSpider): 
class MetacriticSpider(BaseSpider): 
    name = "metacritic" # Name of the spider, to be used when crawling 
    allowed_domains = ["metacritic.com"] # Where the spider is allowed to go 
    start_urls = ["http://www.metacritic.com/browse/games/title/pc?page=0"] 
    def parse(self, response): 
     hxs = HtmlXPathSelector(response) # The XPath selector 
     sites = hxs.select('//li[contains(@class, "product game_product")]/div[@class="product_wrap"]') 
     items = [] 
     for site in sites: 
      item = MetacriticItem() 
      item['title'] = site.select('div[@class="basic_stat product_title"]/a/text()').extract() 
      item['link'] = site.select('div[@class="basic_stat product_title"]/a/@href').extract() 
      item['cscore'] = site.select('div[@class="basic_stat product_score brief_metascore"]/div/div/span[contains(@class, "data metascore score")]/text()').extract() 
      item['uscore'] = site.select('div[@class="more_stats condensed_stats"]/ul/li/span[contains(@class, "data textscore textscore")]/text()').extract() 
      item['date'] = site.select('div[@class="more_stats condensed_stats"]/ul/li/span[@class="data"]/text()').extract() 
      items.append(item) 
     return items 

источник item.py:

from scrapy.item import Item, Field 
class MetacriticItem(Item): 

# Here are the fields that will be crawled and stored 
title = Field() # Game title 
link = Field() # Link to individual game page 
cscore = Field() # Critic score 
uscore = Field() # User score 
date = Field() # Release date 

моя структура каталогов: structure

+0

мой структурный каталог: metacritic – beboy

+0

Я думаю, что форматирование должно быть исправлено. Я попытался изменить это, не уверен, почему мой отзыв не был принят. – nbryans

+0

у вас есть facebook bryans? Возможно, вы можете ответить от этого – beboy

ответ

0

item.py переместить ваш во второй metacritic папке.

+0

aha спасибо, что Харрисон получил это :) – beboy

Смежные вопросы