Нет вывода в консоли python

Question

from bs4 import BeautifulSoup 
import requests 

def imdb_spider(): 
    url = 'http://www.imdb.com/chart/top' 
    source_code = requests.get(url) 
    plain_text = source_code.text 
    soup = BeautifulSoup(plain_text) 
    for link in soup.findAll('a', {'class': 'secondaryInfo' }): 
     href = link.get('href') 
     print(href) 

imdb_spider() 

Я пытаюсь получить ссылки всех фильмов с высоким рейтингом от imdb. Я использую pycharm. Код работает более 30 минут, но я не получаю никакой печати в консоли.

Answer 1

Проблема в том, что {'class': 'secondaryInfo' } является параметром объекта <span>.

Так попробуйте это:

from bs4 import BeautifulSoup 
import requests 


def imdb_spider(): 
    url = 'http://www.imdb.com/chart/top' 
    source_code = requests.get(url) 
    plain_text = source_code.text 
    soup = BeautifulSoup(plain_text, "lxml") 
    for td in soup.findAll('td', {'class': 'titleColumn'}): 
     href = td.find('a').get('href') 
     print(href) 


imdb_spider() 

Answer 2

Вы правы, что есть элемент с классом secondaryInfo для каждого названия фильма, но это не a элемента. Если вы хотите это найти, вам нужно использовать другой селектор. Например, следующий селектор выполнит трюк вместо использования soup.findAll().

soup.select('td.titleColumn a')