Im пытается до очистить детали от дочернего сайта и объединить с деталями, скребками с сайтом. Я занимаюсь исследованиями через stackoverflow, а также документацией. Тем не менее, я все еще не могу заставить свой код работать. Похоже, что моя функция для извлечения дополнительной информации из дочернего сайта не работает. Если бы кто-нибудь мог взглянуть, я был бы очень благодарен.Scrapy merge subsite-item with site-item
# -*- coding: utf-8 -*-
from scrapy.spiders import Spider
from scrapy.selector import Selector
from scrapeInfo.items import infoItem
import pyodbc
class scrapeInfo(Spider):
name = "info"
allowed_domains = ["http://www.nevermind.com"]
start_urls = []
def start_requests(self):
#Get infoID and Type from database
self.conn = pyodbc.connect('DRIVER={SQL Server};SERVER=server;DATABASE=dbname;UID=user;PWD=password')
self.cursor = self.conn.cursor()
self.cursor.execute("SELECT InfoID, category FROM dbo.StageItem")
rows = self.cursor.fetchall()
for row in rows:
url = 'http://www.nevermind.com/info/'
InfoID = row[0]
category = row[1]
yield self.make_requests_from_url(url+InfoID, InfoID, category, self.parse)
def make_requests_from_url(self, url, InfoID, category, callback):
request = Request(url, callback)
request.meta['InfoID'] = InfoID
request.meta['category'] = category
return request
def parse(self, response):
hxs = Selector(response)
infodata = hxs.xpath('div[2]/div[2]') # input item path
itemPool = []
InfoID = response.meta['InfoID']
category = response.meta['category']
for info in infodata:
item = infoItem()
item_cur, item_hist = InfoItemSubSite()
# Stem Details
item['id'] = InfoID
item['field'] = info.xpath('tr[1]/td[2]/p/b/text()').extract()
item['field2'] = info.xpath('tr[2]/td[2]/p/b/text()').extract()
item['field3'] = info.xpath('tr[3]/td[2]/p/b/text()').extract()
item_cur['field4'] = info.xpath('tr[4]/td[2]/p/b/text()').extract()
item_cur['field5'] = info.xpath('tr[5]/td[2]/p/b/text()').extract()
item_cur['field6'] = info.xpath('tr[6]/td[2]/p/b/@href').extract()
# Extract additional information about item_cur from refering site
# This part does not work
if item_cur['field6'] = info.xpath('tr[6]/td[2]/p/b/@href').extract():
url = 'http://www.nevermind.com/info/sub/' + item_cur['field6'] = info.xpath('tr[6]/td[2]/p/b/@href').extract()[0]
request = Request(url, housingtype, self.parse_item_sub)
request.meta['category'] = category
yield self.parse_item_sub(url, category)
item_his['field5'] = info.xpath('tr[5]/td[2]/p/b/text()').extract()
item_his['field6'] = info.xpath('tr[6]/td[2]/p/b/text()').extract()
item_his['field7'] = info.xpath('tr[7]/td[2]/p/b/@href').extract()
item['subsite_dic'] = [dict(item_cur), dict(item_his)]
itemPool.append(item)
yield item
pass
# Function to extract additional info from the subsite, and return it to the original item.
def parse_item_sub(self, response, category):
hxs = Selector(response)
subsite = hxs.xpath('div/div[2]') # input base path
category = response.meta['category']
for i in subsite:
item = InfoItemSubSite()
if (category == 'first'):
item['subsite_field1'] = i.xpath('/td[2]/span/@title').extract()
item['subsite_field2'] = i.xpath('/tr[4]/td[2]/text()').extract()
item['subsite_field3'] = i.xpath('/div[5]/a[1]/@href').extract()
else:
item['subsite_field1'] = i.xpath('/tr[10]/td[3]/span/@title').extract()
item['subsite_field2'] = i.xpath('/tr[4]/td[1]/text()').extract()
item['subsite_field3'] = i.xpath('/div[7]/a[1]/@href').extract()
return item
pass
Я смотрел на эти примеры вместе с большим количеством других примеров (StackOverflow отлично подходит для этого!), А также Scrapy документации, но все еще не в состоянии понять, как я получаю детали отправки от одной функции и сливаются со скребками из исходной функции.
how do i merge results from target page to current page in scrapy? How can i use multiple requests and pass items in between them in scrapy python
Спасибо! Итак, в моем случае у меня около 109 полей в первом запросе, все они переносятся в мета = {'item': item} и как я могу отправить разные классы таким образом? – Philip
@PhilipHoyos Вы можете переносить любой объект или ссылку в метате запроса, однако некоторые более сложные типы объектов и классы могут вызывать некоторые проблемы, такие как утечки памяти и т. Д., Поэтому вы, возможно, захотите придерживаться основных типов python (scrapy.Item довольно просто просто python dict btw, так что это абсолютно безопасно) – Granitosaurus
@Granitosaurus Поймите минуту и 1+ вы для самого чистого, простого, прямого и точного объяснения request.meta, которое я когда-либо видел. Нет gobbledygook, просто «вот оно, вот что он делает, вот как заставить его работать на вас». Браво! –