Я использую scrapy для сбора некоторых писем от craiglist, и когда я запускаю его, он возвращает пустую строку в CSV-файле. Я могу извлечь название, тег и ссылку. Проблема заключается только в электронной почте. Вот код:Scrapy не собирает данные
# -*- coding: utf-8 -*-
import re
import scrapy
from scrapy.http import Request
# item class included here
class DmozItem(scrapy.Item):
# define the fields for your item here like:
link = scrapy.Field()
attr = scrapy.Field()
title = scrapy.Field()
tag = scrapy.Field()
class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["craigslist.org"]
start_urls = [
"http://raleigh.craigslist.org/bab/5038434567.html"
]
BASE_URL = 'http://raleigh.craigslist.org/'
def parse(self, response):
links = response.xpath('//a[@class="hdrlnk"]/@href').extract()
for link in links:
absolute_url = self.BASE_URL + link
yield scrapy.Request(absolute_url, callback=self.parse_attr)
def parse_attr(self, response):
match = re.search(r"(\w+)\.html", response.url)
if match:
item_id = match.group(1)
url = self.BASE_URL + "reply/nos/vgm/" + item_id
item = DmozItem()
item["link"] = response.url
item["title"] = "".join(response.xpath("//span[@class='postingtitletext']//text()").extract())
item["tag"] = "".join(response.xpath("//p[@class='attrgroup']/span/b/text()").extract()[0])
return scrapy.Request(url, meta={'item': item}, callback=self.parse_contact)
def parse_contact(self, response):
item = response.meta['item']
item["attr"] = "".join(response.xpath("//div[@class='anonemail']//text()").extract())
return item
Функция обратного вызова по умолчанию при запуске с 'start_urls' является' parse() ', а не' parse_contact() '. Кроме того, в этом URL-адресе, определенном в 'start_urls', нет сообщений электронной почты, поэтому ваш xpath ничего не соответствует. Прочитали ли вы [Учебник по Scrapy] (http://doc.scrapy.org/en/latest/intro/tutorial.html)? Эти вещи объясняются там. – bosnjak
Этот код работал для меня до сих пор, но последние два дня кажется, что что-то изменилось на craiglist. Можете ли вы добавить рабочий код? Заранее спасибо –
@ArkanKalu вам необходимо предоставить полный код вашего паука. – alecxe