Scrapy xpath удаление текста после <символ

Question

Я пытаюсь получить информацию о продукте с this. Для того, чтобы получить описание (присутствует в нижней части страницы), я использую XPath

response.xpath('//*[@itemprop="description"]/table//text()').extract()[3].strip() 

Это дает мне описание:

u'Color: White, Size:Free Size, With the body: Braided, Buckle: Automatic Deduction, With the body width: section (' 

в то время как один присутствующий на сайте является

Color: White, Size:Free Size, With the body: Braided, Buckle: Automatic Deduction, With the body width: section (<2cm), Belt Length: 93cm 
Product Type: Belts, Accessories 

Я проверил, что контент на сайте загружается даже после отключения javascript. Что мне здесь не хватает?

Answer 1

это все равно должны быть обработаны без каких-либо взломать но вы могли бы получить эту работу с:

from parsel import Selector 
... 

s = Selector(text=response.body_as_unicode(), type='xml') 
s.xpath('//*[@itemprop="description"]/table//text()').extract()[3].strip() 
# gives u'Color: White, Size:Free Size, With the body: Braided, Buckle: Automatic Deduction, With the body width: section (2cm), Belt Length: 93cm' 

проблема здесь заключается в том, что parsel (внутренний scrapy анализатор) использует lxml.etree.HtmlParser(recover=True, encoding='utf8'), который удаляет этот вид странных символов избегать проблем.