Очистить специальные символы в Python Beautiful Soup

Question

Как удалить (или закодировать) специальные символы со страницы, указанной ниже?

import urllib2 
from bs4 import BeautifulSoup 
import re 

link = "https://www.sec.gov/Archives/edgar/data/4281/000119312513062916/R2.htm" 

request_headers = {"Accept-Language": "en-US,en;q=0.5", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:40.0) Gecko/20100101 Firefox/40.0", "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "Referer": "http://google.com", "Connection": "keep-alive"} 
request = urllib2.Request(link, headers=request_headers) 
html = urllib2.urlopen(request).read() 
soup = BeautifulSoup(html, "html.parser") 
soup = soup.encode('utf-8', 'ignore') 
print(soup) 

Answer 1

Юникодные объекты могут быть напечатаны только в том случае, если они могут быть преобразованы в ASCII. Если он не может быть закодирован в ASCII, вы получите эту ошибку. Вероятно, вы хотите явно закодировать его, а затем распечатать полученный суп:

import requests 
from bs4 import BeautifulSoup 
import re 

link = "https://www.sec.gov/Archives/edgar/data/4281/000119312513062916/R2.htm" 

request_headers = {"Accept-Language": "en-US,en;q=0.5", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:40.0) Gecko/20100101 Firefox/40.0", "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "Referer": "http://google.com", "Connection": "keep-alive"} 
reuest = requests.get(link, headers=request_headers) 
soup = BeautifulSoup(reuest.text,"lxml") 
print(soup.encode('utf-8'))