Использование Scrapy для извлечения вложенных данных

Question

Я использую scrapy, чтобы попытаться получить данные url во вложенном классе. Я пробовал следовать учебным пособиям и знакомым вопросам, но я немного отстаю в своей, казалось бы, простой задаче.

страница я пытаюсь скрести это один: http://www.leasingcar.dk/privatleasing

Для каждого транспортного средства на странице я хочу, чтобы получить XPATH Thats приводит к «данных nice_url» текст. Поэтому первым результатом должен быть «/ privatleasing/Citro% c3% abn-Berlingo/eHDi-90-Seduction-E6G». Но я получаю пустой набор данных каждый раз. Я пробовал изменить xpath без всякого взгляда.

Мой код выглядит следующим образом:

from scrapy.spiders import Spider 
from stack.items import StackItem 
from scrapy.selector import Selector 


class Spider(Spider): 
name = "leasingcar" 
allowed_domains = ["http://www.leasingcar.dk"] 
start_urls = ["http://www.leasingcar.dk/privatleasing",] 

def parse(self, response): 

    hxs = Selector(response) 
    print hxs.xpath('//div[@class="data-nice_url"]/text()').extract() 

Заранее спасибо

Answer 1

страница очень «динамический» и использует несколько запросов XHR для различных конечных точек API для построения себя. Рассмотрев эти запросы в инструментах разработчика браузера, я бы сказал, что вам будет нелегко имитировать их в вашем коде Scrapy, и было бы гораздо легче подойти к проблеме с помощью selenium - средства автоматизации браузера. Вы также можете использовать "headless" PhantomJS browser или virtual display.

В любом случае, убедитесь, что вы не нарушаете Условия использования веб-сайта, и вы являетесь good web-scraping citizen.