Могу ли я обнаружить текстовый кодек, используемый в строке?

Question

Я читаю строку из файла (которую кто-то может изменять) и не знаю, какой тип кодированной строки. Есть ли функция, как

getCodec = mystring.getCodec() 

возвращающие что-то вроде

getCodec = 'utf-8' 

или

getCodec = 'ascii' 

?

Answer 1

Нет, такой функции нет, потому что файлы не записывают, какой кодек использовался для записи содержащегося текста.

Если есть больше контекста (например, более конкретный формат, такой как HTML или XML), то вы можете определить кодек, потому что стандарт определяет значение по умолчанию или позволяет аннотирования данных с кодеком, но в противном случае вы снижаются к угадыванию на основе содержимого (что и делают такие инструменты, как chardet).

Для файла, который может изменить любой пользователь, у вас нет никакой надежды, кроме как четко документировать, какой кодек следует использовать.

Answer 2

Вы можете использовать сторонний модуль chardet.

>>> import chardet 
>>> chardet.detect(b'\xed\x95\x9c\xea\xb8\x80') # u'한글'.encode('utf-8') 
{'confidence': 0.7525, 'encoding': 'utf-8'} 
>>> chardet.detect(b'\xc7\xd1\xb1\xdb') 
{'confidence': 0.99, 'encoding': 'EUC-KR'} # u'한글'.encode('euc-kr') 

Примечание: chardet не является надежным, и если файл достаточно мал, можно легко догадаться, не так.

Answer 3

Если вы не можете использовать chardet и не имеете никаких шансов указать кодировку заранее, я думаю, что ваш единственный оставшийся ресурс - это просто догадаться об этом. Вы можете сделать что-то вроде этого:

# Add whichever you want to the list, but only end it in a codec like latin1 that never fails 
codecs = ["utf-8", "euc-kr", "shift-jis", "latin1"] 

def try_decode(text): 
    for codec in codecs: 
     try: 
      return text.decode(codec) 
     except UnicodeError: 
      continue