UnicodeEncodeError: кодек 'charmap' не может кодировать символы

Question

Я пытаюсь очистить сайт, но это дает мне ошибку.

Я использую следующий код:

import urllib.request 
from bs4 import BeautifulSoup 

get = urllib.request.urlopen("https://www.website.com/") 
html = get.read() 

soup = BeautifulSoup(html) 

print(soup) 

И я получаю следующее сообщение об ошибке:

File "C:\Python34\lib\encodings\cp1252.py", line 19, in encode 
    return codecs.charmap_encode(input,self.errors,encoding_table)[0] 
UnicodeEncodeError: 'charmap' codec can't encode characters in position 70924-70950: character maps to <undefined> 

Что я могу сделать, чтобы исправить это?

Answer 1

Я установил его, добавив .encode("utf-8") в soup.

Это означает, что print(soup) будет print(soup.encode("utf-8")).

Answer 2

Для тех, кто все еще получает эту ошибку, добавление encode("ascii") в soup также исправит это.

soup = BeautifulSoup(html_doc, 'html.parser').encode("ascii") 
print(soup) 

Answer 3

я получал один и тот же UnicodeEncodeError при сохранении Царапины веб-контента в файл. Чтобы это исправить, я заменил этот код:

with open(fname, "w") as f: 
    f.write(html) 

с этим:

import io 
with io.open(fname, "w", encoding="utf-8") as f: 
    f.write(html) 

Использование io дает обратную совместимость с Python 2. Если вам нужна только для поддержки Python 3 вы можете использовать встроенную функцию open вместо.