Python lxml web scraping: xpath не работает

Question

Я пытаюсь получить все ссылки, связанные с именами врачей от here. Я думаю, что что-то не так с моим XPath, но я не уверен, что.

from lxml import html 
import requests 

    page = requests.get('http://www.cpsnl.ca/default.asp?adv=1&com=DoctorSearch&selComm=&txtFName=&Certification_Code_Desc=&txtLName=&NameHidden=all&offset=0') 
    tree = html.fromstring(page.content) 


    links = tree.xpath('//*[@id="main_con"]/table/tbody/tr/td/a') 
    print(links) 

Answer 1

Там не будет tbody элемент в HTML, что запросы будут загружать для вас. tbody - это то, что обычно создает браузер. Исправлено выражение XPath (указывая его на href дополнительно):

//*[@id="main_con"]/table//tr/td/a/@href