Что такое xpath, чтобы получить href здесь?

Question

Я ищу для XPath, чтобы получить HREF от

<a class="a-link-normal s-access-detail-page a-text-normal" title="Nikon Coolpix L330 - 20.2 MP Digital Camera with 26x zoom 35mm NIKKOR VR lens and FULL HD 720p (Black)" href="http://rads.stackoverflow.com/amzn/click/B00HQDBLDO"><h2 class="a-size-base s-inline s-access-title a-text-normal">Nikon Coolpix L330 - 20.2 MP Digital Camera with 26x zoom 35mm NIKKOR VR lens and FULL HD 720p (Black)</h2></a> 

Я попытался следующий код:

url = "http://www.amazon.com/s/ref=nb_sb_noss?url=search-alias%3Daps&field-keywords=digital+camera&rh=i%3Aaps%2Ck%3Adigital+camera" 
page = requests.get(url) 
tree = html.fromstring(page.text) 
hrefs = tree.xpath('//*/a/@href') 
for href in hrefs: 
    if "keywords=digital+camera" in href: 
     print href 

Ничего не печатается здесь.

Я не уверен, может ли xpath это сделать? Вот ссылка: http://www.amazon.com/s/ref=nb_sb_noss_1?url=search-alias%3Daps&field-keywords=digital+camera

Answer 1

попробуйте это. Но всегда хорошо, если вы попробуете разные вещи, а затем зададите вопрос, если вы где-то попали.

//a[@title='Nikon Coolpix L330 - 20.2 MP Digital Camera with 26x zoom 35mm NIKKOR VR lens and FULL HD 720p (Black)'] 

Answer 2

Реальная проблема не «как получить ссылки по XPath», но «как получить HTML-код, который содержит ссылки, которые должны быть получены с помощью XPath» есть.

Амазонка, которую вы видите в браузере, была построена им несколькими дополнительными асинхронными вызовами и выполнением javascript. HTML, который вы получаете в page.text, полностью отличается от того, что вы увидите в браузере. Он не содержит нужных ссылок, так как requests не является браузером, по крайней мере, не существует встроенного javascript engine.

Самым простым решением здесь было бы автоматизировать реальный браузер с помощью selenium:

from selenium import webdriver 

driver = webdriver.Firefox() 
driver.get('http://www.amazon.com/s/ref=nb_sb_noss_1?url=search-alias%3Daps&field-keywords=digital+camera') 

for link in driver.find_elements_by_xpath('//a[contains(@href, "keywords=digital+camera")]'): 
    print link.get_attribute('href') 

driver.close()