Scrapy: Невозможно удалить unicode из данных моего предмета (цена)

Question

Я строю скребок, чтобы получить цены на продукцию с веб-сайта.

На данный момент у меня есть следующий код:

def parse(self, response): 
    for tank in response.xpath('//html/body/div/div[4]/div/div/div/table[1]/tr/td/div/span/span'): 
     item = VapeItem() 
     item["price"] = tank.xpath("text()").extract() 
     yield item 

А вот выход JSON:

{"price": ["5,00 \u20ac\n \n \n \n \n \n  *\n \n \n \n "]}, 

Я попытался кодирования ("UTF-8"), полоса, заменяет , но ничего не работает.

Мой вопрос: Как сделать вывод доступным для чтения. Либо сделайте «5,00 €» (\ u20ac), либо просто «5,00»

Заранее спасибо!

Answer 1

Простейший способ может быть, чтобы разделить один раз и заменить любую запятую с десятичной:

item["price"] = tank.xpath("text()").extract()[0].split(None,1)[0].replace(",",".") 

Это оставит вас с 5.00. Поскольку у вас есть * в строковой полосе, это не сработает, вы можете передать этот символ, чтобы удалить i, e [0].rstrip("\n* "), но если бы были другие ошибочные символы, которые могли бы сломаться.

Если вы хотите, знак евро тоже можно decode('unicode-escape'):

d={"price": ["5,00 \u20ac\n \n \n \n \n \n  *\n \n \n \n "]} 

d["price"] = d["price"][0].decode('unicode-escape').rstrip("\n * ").replace(",",".") 

print(d["price"]) 
5.00 € 

Если вы хотите, чтобы объединить его с расколом и сохранить знак, а также форматирование это немного лучше:

p,s,_ = d["price"][0].split(None, 2) 

d["price"] = u"{}{}".format(s.decode("unicode_escape"),p.replace(",",".")) 

print(d["price"]) 

Который даст вам:

€5.00