Regex, чтобы извлечь все адреса из строки

Question

У меня есть строка, как этот

http://example.com/path/topage.htmlhttp://twitter.com/p/xyanhshttp://httpget.org/get.zipwww.google.com/privacy.htmlhttps://goodurl.net/

Я хотел бы, чтобы извлечь все URL/webaddress в массив. например

urls = ['http://example.com/path/topage.html','http://twitter.com/p/xyan',.....]

Вот мой подход, который не работал.

import re 
strings = "http://example.com/path/topage.htmlhttp://twitter.com/p/xyanhshttp://httpget.org/get.zipwww.google.com/privacy.htmlhttps://goodurl.net/" 
links = re.findall('http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\(\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+', strings) 

print links 
// result always same as strings 

Answer 1

Проблема в том, что ваш шаблон регулярного выражения является слишком инклюзивным. Он включает в себя все URL-адреса. Вы можете использовать предпросмотр с помощью

Попробуйте это (=?):

re.findall("((www\.|http://|https://)(www\.)*.*?(?=(www\.|http://|https://|$)))", strings) 

Answer 2

Ваша проблема заключается в том, что http:// в настоящее время принимается в качестве действительной части URL. Это происходит из-за этого маркера здесь:

[$-_@.&+] 

или более конкретно:

$-_ 

Это соответствует всем символам с диапазоном от $ до _, который включает в себя намного больше символов, чем вы, вероятно, предназначены для делать.

Вы можете изменить это на [$\-_@.&+], но это вызывает проблемы, так как теперь цифры / не совпадают. Поэтому добавьте его, используя [$\-_@.&+/]. Однако это снова вызовет проблемы, так как http://example.com/path/topage.htmlhttp будет считаться допустимым.

Окончательное дополнение должно добавить lookahead, чтобы убедиться, что вы не согласны с http:// или https://, что именно так случается, чтобы быть первой частью вашего регулярного выражения!

http[s]?://(?:(?!http[s]?://)[a-zA-Z]|[0-9]|[$\-_@.&+/]|[!*\(\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+ 

испытания here

Answer 3

Простой ответ, не вдаваясь в особых осложнений:

import re 
url_list = [] 

for x in re.split("http://", l): 
    url_list.append(re.split("https://",x)) 

url_list = [item for sublist in url_list for item in sublist] 

В случае, если вы хотите добавить строку http:// и https:// обратно к адресам, сделайте соответствующие изменения в код. Надеюсь, я передаю эту идею.

Answer 4

здесь мое

(r’http[s]?://[a-zA-Z]{3}\.[a-zA-Z0-9]+\.[a-zA-Z]+')