Веб-скребок с использованием regex

Question

Я столкнулся с стеной, почему этот код не работает, даже думал, что это тот же код, что и в онлайн-учебнике Python Web Scraping Tutorial 5 (Network Requests). Я попытался запустить код также через онлайн-интерпретатор Python.

import urllib 
import re 

htmltext = urllib.urlopen("https://www.google.com/finance?q=AAPL") 

regex = '<span id="ref_[^.]*_l">(.+?)</span>' 
pattern = re.compile(regex) 
results = re.findall(pattern,htmltext) 
results 

я получаю:

re.pyc in findall(pattern, string, flags) 
175 
176  Empty matches are included in the result.""" 
--> 177  return _compile(pattern, flags).findall(string) 
178 
179 if sys.hexversion >= 0x02020000: 

TypeError: expected string or buffer 

Ожидаемый результат (ы):

112.71 

оцененная помощь. Я попытался использовать «read()» в URL-адресе, но это не сработало. Согласно документации, должны быть включены даже пустые результаты. Спасибо

Answer 1

Проблема в том, что вы на самом деле не читали HTML из запроса.

htmltext = urllib.urlopen("https://www.google.com/finance?q=AAPL").read() 

Answer 2

Если следовать учебник до конца :):

% python2                          
>>> import urllib 
>>> data = urllib.urlopen('https://www.google.com/finance/getprices?q=AAPL&x=NASD&i=10&p=25m&f=c&auto=1').read() 
>>> print data.split()[-1] 
112.71 

Никогда не использовать регулярное выражение для веб царапать

я сделать улучшение для извлечения последнего элемента массива проще