Python BeautifulSoup не может читать Div тег

Question

Я пытаюсь получить продукты для проекта, я работаю с этой страницы: lazada, page ispection с помощью:

from bs4 import BeautifulSoup 
import urllib 
import re 
r = urllib.urlopen("http://www.lazada.co.id/catalog/?q=note+2").read() 
soup = BeautifulSoup(r,"lxml") 
letters = soup.findAll("span",class_=re.compile("product-card__name")) 
print type(letters) 
print letters[0] 

Когда я делаю это я я получаю следующую ошибку:

 
Traceback (most recent call last): 
    File "C:/Python27/project/testaja.py", line 9, in 
    print letters[0] 
IndexError: list index out of range 

Любые мысли по этому вопросу?

Answer 1

Я думаю, что вы, возможно, слишком сильно пострадали от своей страницы, перейдите туда в браузере и посмотрите, что страница вернет в вашей сети.

Кроме того, вы можете изменить свой код, чтобы вы могли проверить заголовок ответа страницы, чтобы убедиться, что страница вернулась должным образом, прежде чем пытаться ее очистить. Я изменил ваш код, чтобы показать пример ниже:

from bs4 import BeautifulSoup 
import urllib 
import re 

r = urllib.urlopen("http://www.lazada.co.id/catalog/?q=note+2") 
header_code = r.getcode() 

if header_code == 200: 
    html = r.read() 
    soup = BeautifulSoup(html, "lxml") 
    letters = soup.findAll("span", {"class" : re.compile("product-card__name")}) 

    for letter in letters: 
     print letter 
else: 
    print("oops, something went wonky. Page response was: %s"% header_code)