Python - file.write() вызывает китайский текст

Question

Когда я пишу определенную строку в файл в бесконечном цикле, например:

file = open('txt.txt', 'w') 
while 1: 
    file.write('colour') 

Это дает мне все это китайский текст: Picture

Почему это происходит?

Answer 1

Вы можете получить тот же результат, скопировав вставку colour несколько раз в блокнот, а затем сохраните и перезагрузите файл. Нет ничего плохого в вашем коде на Python. Байты, записываемые в файл будут выглядеть следующим образом (в шестнадцатеричном):

63 CF 6C 6F 75 72 63 CF 6C 6F 75 72 ... 

Когда блокнот читает эти байты, необходимые угадать, что они представляют. Он идеально декодировал бы текст как utf-8 или ascii. Вместо этого он видит шаблон в байтах и ​​ошибочно полагает.

Я заметил, что каждая пара байтов соответствует одному китайскому символу. Это предполагает, что кодировка может быть utf-16. Следующий тест на питоне подтверждает, что это так:

>>> original = 'colour' * 100 
>>> original.encode('utf-8').decode('utf-16') 
\u6f63\u6f6c\u7275\... # repeating 

Этих кодовые точки соответствуют 潣, 潬 и 牵 что то же самое, что блокнот дисплеи. Поэтому проблема заключается в том, что блокнот неправильно декодирует ваши байты как utf-16 вместо utf-8. Это напоминает старую ошибку Bush hid the facts.

Answer 2

Я считаю, что ваша кодировка устанавливается как inproper по умолчанию (возможно на установке или на основе ваших настроек компьютеров)

вы можете изменить его:

import sys 
reload(sys) # Reload does the trick! 
sys.setdefaultencoding('UTF8') 

Проверить эту нить из для получения дополнительной информации Changing default encoding of Python?