Веб-скребок с модулями Python urllib2 и BeautifulSoup

Question

Недавно я попытался использовать urllib2 и BeautifulSoup для извлечения исходной коеде какой-либо веб-страницы, однако, не удалось с выходом неправильного кода. Сценарий выглядит следующим образом (работает в Python IDLE)

import urllib2 
from bs4 import BeautifulSoup 
web = "http://www.qq.com" 
page = urllib2.urlopen(web) 
soup = BeautifulSoup(page, "html.parser") 
print soup.prettify() 

Я обнаружил, что кодировка «http://www.qq.com» является gb2312, поэтому добавили кое-что в приведенном выше сценарии, как это:

import urllib2 
from bs4 import BeautifulSoup 
web = "http://www.qq.com" 
page = urllib2.urlopen(web) 
soup = BeautifulSoup(page, "html.parser", from_encoding="gb2312") 
print soup.prettify() 

Но результат разочаровывает. Есть ли доступное решение?

скриншот сообщения об ошибке:

Error Message

Последний выходные я добавил модуль SYS в приведенном выше коде, но ничего не печатает, без предупреждения на этот раз.

#coding=utf-8 

import urllib2 
from bs4 import BeautifulSoup 
import sys 
reload(sys) 
sys.setdefaultencoding('gbk') 

web = "http://www.qq.com" 
page = urllib2.urlopen(web) 
soup = BeautifulSoup(page, "html.parser") 
print soup.prettify() 

Answer 1

Вы можете отправить сообщение об ошибке? Или проблема в том, что он просто не отображает китайских символов на экране?

Попробуйте переключиться на кодировку gb18030. Несмотря на то, что на странице указано, что ее кодировка - gb2313, должен быть символ, который испортил декодирование. Переключение кодировок превратило мой вывод на терминал с мусора на китайские иероглифы (Source)

import urllib2 
from bs4 import BeautifulSoup 
web = "http://www.qq.com" 
page = urllib2.urlopen(web) 
soup = BeautifulSoup(page, "html.parser", from_encoding="gb18030") 
print soup.prettify()