Regex извлечь все URL-адреса со страницы

Question

Этот вопрос задан несколько раз на SO, но я не мог получить ответы на правильные ответы. Мне нужно извлечь все URL-адреса на странице как в ссылках href, так и в обычном тексте. Мне не нужны отдельные группы регулярных выражений. Мне нужен список строк, т. Е. URL-адреса на странице. Может ли кто-нибудь указать мне на хороший рабочий пример?

Я хотел бы сделать это с помощью Regexs и не BeautifulSoup и т.д.

Спасибо.

Answer 1

HTML не является regular language и поэтому не может быть проанализирован с помощью регулярных выражений.

Это можно сделать правдоподобные предположения с использованием регулярных выражений, и/или признать ограниченное подмножество URIs, но это путь к безумию (длительные процессы отладки, неточные результаты).

Это сказало, если вы готовы идти по этому пути, см John Gruber's regex for the purpose:

def extract_urls(your_text): 
    url_re = re.compile(r'\b(([\w-]+://?|www[.])[^\s()<>]+(?:\([\w\d]+\)|([^[:punct:]\s]|/)))') 
    for match in url_re.finditer(your_text): 
    yield match.group(0) 

Это может быть использовано следующим образом:

>>> for uri in extract_urls('http://foo.bar/baz irc://freenode.org/bash'): 
... print uri 
http://foo.bar/ 
irc://freenode.org 

Answer 2

Я знаю, что вы можете использовать объект DOM в PHP для анализа HTML-документа. Я не знаком с python, но это может помочь: http://docs.python.org/library/xml.dom.html