Python: ломать несколько страниц доски объявлений

Question

Я хотел бы иметь возможность откладывать все сообщения с страниц сообщений Yahoo finance за конкретный запас.

Вот пример страницы: http://finance.yahoo.com/mb/AMD/

Я хотел бы быть в состоянии получить все сообщения там. Если я нажму кнопку «Сообщения» по ссылке выше, перейдите по этой ссылке: http://finance.yahoo.com/mb/forumview/?&v=m&bn=d56b9fc4-b0f1-3e88-b1f5-e1c40c0067e7 , который имеет более 10 страниц.

Как я могу использовать код Python, чтобы отказаться от этих данных, просто зная символ акции «AMD»?

Answer 1

Основы:

tickers = ['AMD', 'AAPL', 'GOOG'] 
for t in tickers: 
    url = 'http://finance.yahoo.com/mb/' + t + '/' 
    r = br.open(url) 
    html = r.read() 
    soup = BeautifulSoup(html) 
    print soup 

Содержание Вы хотите находится в пределах конкретных HTML-теги. Используйте soup.find_all, чтобы получить то, что вы хотите. Чтобы перемещаться между страницами, используйте Selenium.