Scrap extract non-wrapped data

Question

Я пытаюсь извлечь конкретные данные о ценах с помощью scrapy, но цена не обернута в тег.

Как я могу составить цену из этого html?

<div class="value"> 
     <span class="currency">€</span> 
    39 
    <span class="decimal">.98</span> 
    <span class="type">New</span> 
</div> 

Как усовершенствовать это до 39,98?

Решение используется:

"".join(response.xpath("//section[@class='order order--new order--left']//div[@class='spec price']//div[@class='value']//text()").re("[0-9.]+")) 

Answer 1

Получить все текстовые узлы внутри элемента и присоединиться:

$ scrapy shell file://$PWD/index.html 
In [1]: "".join(response.xpath("//div[@class = 'value']//text()").re("[0-9.]+")) 
Out[1]: u'39.98' 

.re() помогает фильтровать только цифры и точки.

Если есть несколько значений в документе:

In [2]: ["".join(value.xpath(".//text()").re(r"[0-9.]+")) for value in response.xpath("//div[@class = 'value']")] 
Out[2]: [u'39.98']