Модуль «re» Python не работает?

Question

Я использую Питона «повторно» модуль следующим образом:

request = get("http://www.allmusic.com/album/warning-mw0000106792") 
print re.findall('<hgroup>(.*?)</hgroup>', request) 

Все, что я делаю, получаю HTML из this site, и ищет для этого конкретного фрагмента кода:

<hgroup> 
    <h3 class="album-artist"> 
     <a href="http://www.allmusic.com/artist/green-day-mn0000154544">Green Day</a>  </h3> 

    <h2 class="album-title"> 
     Warning  </h2> 
</hgroup> 

Однако , он продолжает печатать пустой массив. Почему это? Почему re.findall не может найти этот фрагмент?

Answer 1

HTML, вы разбор на нескольких строках. Вам нужно пройти re.DOTALL флаг findall так:

print re.findall('<hgroup>(.*?)</hgroup>', request, re.DOTALL) 

Это позволяет . соответствовать новой строки и возвращает правильный вывод.

@ jsalonen прав, конечно, что разбор HTML с регулярным выражением является сложной проблемой. Однако в небольших случаях, например, для одноразового скрипта, я бы сказал, что это приемлемо.

Answer 2

re модуль не сломан. Вероятно, вы сталкиваетесь с тем, что не все HTML не могут быть легко сопоставлены с простым регулярным выражением.

Вместо этого попробуйте синтаксический анализ HTML с фактической HTML парсером, как BeautifulSoup:

from BeautifulSoup import BeautifulSoup 
from requests import get 

request = get("http://www.allmusic.com/album/warning-mw0000106792") 
soup = BeautifulSoup(request.content) 
print soup.findAll('hgroup') 

или альтернативно, с pyquery:

from pyquery import PyQuery as pq 

d = pq(url='http://www.allmusic.com/album/warning-mw0000106792') 
print d('hgroup')