Python BeautifulSoup Извлечь определенные URL-адреса

Question

Возможно ли получить только определенные URL-адреса?

Как:

<a href="http://www.iwashere.com/washere.html">next</a> 
<span class="class">...</span> 
<a href="http://www.heelo.com/hello.html">next</a> 
<span class="class">...</span> 
<a href="http://www.iwashere.com/wasnot.html">next</a> 
<span class="class">...</span> 

Вывод должен быть только URL-адресом из http://www.iwashere.com/

как, выходная URL-адреса:

http://www.iwashere.com/washere.html 
http://www.iwashere.com/wasnot.html 

Я сделал это струнной логикой. Есть ли какой-либо прямой метод, использующий BeautifulSoup?

Answer 1

Вы можете указать несколько аспектов, в том числе с помощью регулярного выражения для значения атрибута:

import re 
soup.find_all('a', href=re.compile('http://www\.iwashere\.com/')) 

, который соответствует (для примера):

[<a href="http://www.iwashere.com/washere.html">next</a>, <a href="http://www.iwashere.com/wasnot.html">next</a>] 

так любой <a> тег с атрибутом href который имеет значение, которое начинается со строки http://www.iwashere.com/.

Вы можешь цикл над результатами и выбрать только href атрибута:

>>> for elem in soup.find_all('a', href=re.compile('http://www\.iwashere\.com/')): 
...  print elem['href'] 
... 
http://www.iwashere.com/washere.html 
http://www.iwashere.com/wasnot.html 

Чтобы соответствовать относительным путям вместо этого, использовать отрицательное опережающее утверждение, которое проверяет, если значение делает не начать с схему (например, http: или mailto:) или двойную косую черту (//hostname/path); любое такое значение должно быть относительный путь вместо:

soup.find_all('a', href=re.compile(r'^(?!(?:[a-zA-Z][a-zA-Z0-9+.-]*:|//))')) 

Answer 2

Если вы используете BeautifulSoup 4.0.0 или больше:

soup.select('a[href^="http://www.iwashere.com/"]')