Сломанные корейские строки при чтении DataFrame из CSV

Question

Я корейский пользователь.

Когда я прочитал файл .csv из панды DataFrame, корейские строки разбиты, как это: �����

английский хорошо.

Входные данные пробы:

Unnamed: 0 �������� �������ε����� ��X��ǥ ��Y��ǥ �����ڵ� ������ ����߻��������� ����Ǽ� �������� 

0 165244 20131201 �ٻ�62175541 962170 1955410 331 �������� 1 2 18224.03 

Почему корейский текст испорчен?

Answer 1

ваш текстовый формат Юникод, так что вы должны декодировать его как utf-8:

import csv 
def unicode_reader('your_file_name',delimiter='your_delimiter', **kwargs): 
    spamreader = csv.reader('your_file_name',delimiter='your_delimiter', **kwargs) 
    for row in spamreader: 
     yield [unicode(w, 'utf-8') for w in row] 

reader = unicode_csv_reader(open('your_file_name')) 
for tex in reader: 
    print tex