Чтение содержимого веб-страницы с помощью Python

Question

Я пытаюсь получить содержимое веб-страницы. Почему-то всякий раз, когда я пробую urlopen, он говорит, что «нет такого ресурса». Я также не могу использовать urllib2.

Я просто хотел бы получить содержимое веб-страницы, такие как http://www.example.com

import urllib 
import re 

textfile = open('depth_1.txt','w') 
print("Enter the URL you wish to crawl..") 
print('Usage - "http://phocks.org/stumble/creepy/" <-- With the double quotes') 
myurl = input("@> ") 
for i in re.findall('''href=["'](.[^"']+)["']''', urllib.urlopen(myurl).read(), re.I): 
    print(i) 
    for ee in re.findall('''href=["'](.[^"']+)["']''', urllib.urlopen(i).read(), re.I): 
      print(ee) 
      textfile.write(ee+'\n') 
textfile.close() 

Здесь ошибка:

Traceback (most recent call last): 
    File "/Users/austinhitt/Desktop/clases_example.py", line 8, in <module> 
    for i in re.findall('''href=["'](.[^"']+)["']''', 
urllib.urlopen(myurl).read(), re.I): 
AttributeError: module 'urllib' has no attribute 'urlopen' 

Answer 1

Только для запросов на использование контента, и если вы хотите играть Arround с содержанием, которое необходимо использовать для скрипирования, например:

import requests 
r = requests.get('http://scrapy.org') 
r.content 
r.headers 
r.status_code