Python нагрузки неизвестные символы, загруженные в sklearn

Question

Я пытаюсь загрузить сообщения электронной почты, которые я скопировал в Rtf файлы (как мой обучающих данных) я загрузить каталог, содержащий файлы, используя sklearn модуль и команду:

sklearn.datasets.load_files 
    corpus = sklearn.datasets.load_files(<path>,shuffle = False) 

Когда я пытаюсь распечатать corpus.data, первые 6000 символов или около того - \ x00 \ x00 \ x00 \ x01Bud1 \ x00 \ x00 \ x10 \ x00 \ x00 \ x00 \ x08. Затем отображается фактический текст сообщения, но переплетены такие символы, как: \ cf0 \ expnd0 \ expndtw0 \ kerning0 \ nHey, \\ в середине текста. Я хочу упомянуть, что в каком-то тексте есть немецкие персонажи, а также английский.

В чем проблема?

Лучшие Ok

Answer 1

В документации для этой функции говорит

If you leave encoding equal to None, then the content will be made of bytes instead of Unicode, and you will not be able to use most functions in sklearn.feature_extraction.text.

Не зная кодировку файлов вы можете попробовать

sklearn.databases.load_files(<path>,shuffle = False, encoding='utf-8')