Как обрабатывать кодирование ответа от urllib.request.urlopen()

Question

Я пытаюсь искать веб-страницы, используя регулярные выражения, но я получаю следующее сообщение об ошибке:

TypeError: can't use a string pattern on a bytes-like object

Я понимаю, почему, URLLIB. request.urlopen() возвращает поток bytestream, и поэтому, по крайней мере, я предполагаю, re не знает кодировку. Что я должен делать в этой ситуации? Есть ли способ указать метод кодирования в urlrequest, может быть, мне нужно будет перекодировать строку самостоятельно? Если да, то что я хочу сделать, я полагаю, что я должен прочитать кодировку из информации заголовка или типа кодировки, если она указана в html, а затем перекодировать ее на это?

Answer 1

Вам просто нужно декодировать ответ, используя заголовок Content-Type, как правило, последнее значение. Приведен пример, приведенный в the tutorial.

output = response.decode('utf-8') 

Answer 2

после того, как вы сделаете запрос req = urllib.request.urlopen(...), вы должны прочитать запрос, вызвав html_string = req.read(), который даст вам ответ строки, который вы сможете проанализировать так, как хотите.

Answer 3

urllib.urlopen(url).headers.getheader('Content-Type') 

Выведет что-то вроде этого:

text/html; charset=utf-8

Answer 4

Что касается меня, то решение выглядит следующим образом (python3):

resource = urllib.request.urlopen(an_url) 
content = resource.read().decode(resource.headers.get_content_charset()) 

Answer 5

меня были те же проблемы, за последние два дня. У меня наконец есть решение. Я использую info() метод объекта, возвращаемого urlopen():

req=urllib.request.urlopen(URL) 
charset=req.info().get_content_charset() 
content=req.read().decode(charset) 

Answer 6

С requests:

import requests 

response = requests.get(URL).text 

Answer 7

не один из этих ответов работать для меня в Python 3.5x, используя urllib.request потому URLLIB .request.urlopen (url) буквально возвращает ТОЛЬКО поток байтов - он не имеет функций-членов для анализа любой формы заголовка в html. Таким образом, нет информации(), нет заголовков и т. Д. Мне пришлось бы самостоятельно разобрать ее, чтобы найти кодировку, но без кодировки я не могу ее преобразовать в текст, чтобы ее разобрать. Это уловка 22.