Фиксация поврежденного кодирования (с Python)

Question

У меня есть набор текстовых файлов, содержащих корейские символы с неправильными кодировками. В частности, кажется, что символы кодируются EUC-KR, но сами файлы были сохранены с помощью спецификации UTF8 +.

До сих пор мне удалось исправить файл со следующим:

1. Открыть файл с EditPlus (это показывает, кодировкой файла является UTF8+BOM)
2. В EditPlus, сохраните файл как ANSI

3. Наконец, в Python:

   with codecs.open(html, 'rb', encoding='euc-kr') as source_file: 
       contents = source_file.read() 
   
   with open(html, 'w+b') as dest_file: 
       dest_file.write(contents.encode('utf-8')) 
   

Я хочу автоматизировать это, но я не смог этого сделать. Я могу открыть исходный файл в Python:

codecs.open(html, 'rb', encoding='utf-8-sig') 

Однако, я не мог понять, как сделать 2. часть.

Answer 1

Я предполагаю, что здесь у вас есть текст уже закодированы EUC-KR, затем кодируются снова в UTF-8. Если это так, кодирование на латиницу 1 (то, что Windows вызывает ANSI), действительно является лучшим способом вернуться к исходной последовательности EUC-KR.

Открыть файл в UTF8 с BOM, закодировать Latin1, декодирование, как EUC-KR:

import io 

with io.open(html, encoding='utf-8-sig') as infh: 
    data = infh.read().encode('latin1').decode('euc-kr') 

with io.open(html, 'w', encoding='utf8') as outfh: 
    outfh.write(data) 

Я использую io.open() function здесь вместо codecs как более надежного метода; io является новая библиотека Python 3 также портированном на Python 2.

Демо:

>>> broken = '\xef\xbb\xbf\xc2\xb9\xc3\x8c\xc2\xbc\xc3\xba' 
>>> print broken.decode('utf-8-sig').encode('latin1').decode('euc-kr') 
미술