Scrapy crawler не будет сканировать какие-либо веб-страницы

Question

Я пробовал около дня, чтобы этот искатель работал и продолжал получать ошибки, может ли кто-нибудь предложить какие-либо способы его запуска. основного код паук

import scrapy 
from scrapy.spiders import Spider 
from scrapy.selector import Selector 


class gameSpider(scrapy.Spider): 
name = "game_spider.py" 
allowed_domains = ["*"] 
start_urls = [ 
    "http://www.game.co.uk/en/grand-theft-auto-v-with-gta-online-3-500-000-1085837?categoryIdentifier=706209&catGroupId=" 
] 

def parse(self, response): 
    sel = Selector(response) 
    sites = sel.xpath('//ul[@class="directory-url"]/li') 
    items = [] 

    for site in sites: 
     item = Website() 
     item['name'] = site.xpath('//*[@id="details301149"]/div/div/h2/text()').extract() 
     """item['link'] = site.xpath('//a/@href').extract() 
     item['description'] = site.xpath('//*[@id="overview"]/div[3]()').re('-\s[^\n]*\\r')""" 
     items.append(item) 

    print items 
    return items 

Код элемента

import scrapy 


class GameItem(Item): 
    name = Field() 
    pass 

спасибо расширенной Джеймс

Answer 1

Вашего start_urls ссылка возвращает Erorr 500. Там нет никаких пунктов.

In [7]: sites = response.xpath('//ul[@class="directory-url"]/li') 

In [8]: sites 
Out[8]: []