etree & xpath возвращает весь html вместо текста

Question

Я работаю с этим довольно долго и пробовал все виды решений пространства имен. Однако мой текущий скрипт не печатает требуемые строки, а весь html-дамп. Кто-нибудь знает, как обойти эту проблему?

from lxml.html import parse 
from lxml import etree 
import requests 

r = requests.get('https://berlin.kauperts.de/Strassen/Aachener-Strasse-10713-Berlin.html') 
tree = etree.parse(r.text) 
NSMAP = {'mw':'http://www.w3.org/1999/xhtml/'} 
Name2 = tree.xpath('//{http://www.w3.org/1999/xhtml}html/body/div[7]/div/div/div/table/tbody/tr/td[2]/a') 
Name3 = tree.find("//html/body/div[7]/div/div/div/table/tbody/tr/td[2]/a") 
print(Name2, Name3) 

Answer 1

Пространства имен унаследованы. Если документ XHTML, то все узлы в документе находятся по умолчанию в пространстве имен XHTML.

Это означает, что вы должны использовать это пространство имен на каждом этапе своего выражения XPath. Использовать его на первом этапе (html) недостаточно.

nsmap может помочь вам с сохранением кода управляемым, но вы также должны использовать его.

from lxml.html import parse 
import requests 
from lxml import etree 

r = requests.get('https://berlin.kauperts.de/Strassen/Aachener-Strasse-10713-Berlin.html') 
tree = etree.parse(r.text) 
nsmap = {'x':'http://www.w3.org/1999/xhtml/'} 

path = '//x:body/x:div[7]/x:div/x:div/x:div/x:table/x:tbody/x:tr/x:td[2]/x:a' 
name = tree.findall(path, nsmap) 

Вышеперечисленное является громоздким и ломким. Попробуйте создать более простое выражение.

Правило: никогда не используйте XPath, который был автоматически сгенерирован. Вручную создайте «наименее специфическое» выражение (т. Е. Наименее зависимое от нерелевантной структуры документа, например, div уровней вложения или -позиций), которые по-прежнему соответствуют именно тому, что вам нужно. Может быть, по этому поводу.

name = tree.findall('//x:table[@class="foo"]//x:td[2]/x:a', nsmap)