scrapy переход на следующие страницы, перечисленные на первой странице обхода

Question

Привет, мне нужна помощь со следующим кодом для навигации и получения данных с оставшихся страниц в ссылке, упомянутой в start_urls. Пожалуйста, помогите

class texashealthspider(CrawlSpider): 

    name="texashealth2" 
    allowed_domains=['www.texashealth.org'] 
    start_urls=['http://jobs.texashealth.org/search/'] 

    rules=(
     Rule(SgmlLinkExtractor(allow=("startrow=\d",)),callback="parse",follow=True), 
     ) 

    def parse(self, response): 
     hxs=HtmlXPathSelector(response) 
     titles=hxs.select('//tbody/tr/td') 
     items = [] 

    for titles in titles: 
     item=TexashealthItem() 
     item['title']=titles.select('span[@class="jobTitle"]/a/text()').extract() 
     item['link']=titles.select('span[@class="jobTitle"]/a/@href').extract() 
     item['shifttype']=titles.select('span[@class="jobShiftType"]/text()').extract() 
     item['location']=titles.select('span[@class="jobLocation"]/text()').extract() 
     items.append(item) 
    print items 
    return items 

Answer 1

снять ограничение в allowed_domains=['www.texashealth.org'], сделать его allowed_domains=['texashealth.org'] или allowed_domains=['jobs.texashealth.org'] - иначе не страницы не будет сканироваться

Кстати, рассмотреть вопрос об изменении названия функции, из документации:

Предупреждение

При написании правил пауза паука избегайте использования разбора в качестве обратного вызова, поскольку CrawlSpider использует метод parse для реализации своей логики. Поэтому, если вы переопределите метод анализа, сканер обхода больше не будет работать.