Неподдерживаемые символы на входе (Python 2.7.9)

Question

Небольшой вопрос от новичка. Я пытаюсь сделать небольшую функцию, где он рандомизирует содержимое текста.

#-*- coding: utf-8 -*- 
import random 

def glitch(text): 
    new_text = [''] 
    for x in text: 
     new_text.append(x) 
     random.shuffle(new_text) 
    return ''.join(new_text) 

Как вы можете видеть, что это довольно просто, и выход, при вводе простой строки, такие как: "Эй, как ты? приведет к рандомизированному предложению, как прогнозировалось. Однако, когда я пытаюсь вставить что-то похожее на это:

печати глюк ('IAAI † N $ § & 0ñŒ≥Q¶μù`o ¢ у»-œº')

. ..Python 2.7.9 возвращает «Неподдерживаемые символы во входном файле» - Я просмотрел форум и, насколько я понял, пробовал вещи, поскольку я все еще новичок в кодировании в целом, но безрезультатно ,

Любые советы?

Спасибо.

Answer 1

#-*- coding: utf-8 -*- 
import random 

def glitch(text): 

    new_text = [''] 
    for x in text: 
     new_text.append(x) 
     random.shuffle(new_text) 
    return ''.join(new_text) 

print (glitch(u'Iàäï†n$§&0ñŒ≥Q¶µù`o¢y”—œº')) 

Это должно работать, через быстрый поиск Google моего собственного, я узнал, вы должны предварять букву «U», чтобы отметить следующий текст в Юникоде.

Источник: Unsupported characters in input

Answer 2

Ваш вопрос Python 2.x - не ваша конкретная версия Python 2. Python 2.x использует ascii вместо кодировки Unicode (изменено в Python 3), и ваша строка (likley), кодированный как utf-8. Смотрите следующее:

import chardet 
text = 'Iàäï†n$§&0ñŒ≥Q¶µù`o¢y”—œº' 
print chardet.detect(text)['encoding'] # prints utf-8 

Если вы загружаете Python 3.X, ваша проблема, вероятно, будет решена, since UTF-8 can handle any Unicode code point.

Если вам интересно - или для будущих пользователей 2.x - вы можете сделать следующее.

def glitch(text): 
    new_text = [] 
    for x in text: 
     new_text.append(x) 
    random.shuffle(new_text) #note you should just shuffle once - not every iteration. 
    new_line = ''.join(new_text) # this line is where your encoding moves from `utf-8` to `ascii` 
    # this becomes `ascii` because of the empty string you use to join your list. it defaults to `ascii` 
    # if you tried to make it `unicode` by doing `u''.join(list)` you would get a `UnicodeDecodeError` 
    return new_line.decode("ascii", "ignore").encode("utf-8") # note the [ignore][2]. it bypasses encoding errors. 
    # now your code will run and return a string of utf-8 characters 
    # (to which we encode new_line, and which is the default encoding of a string anytime you `decode()` it.) 
    # note that you will return a shorter string, because (again) `ascii` can only represent 
    # 128 characters by default, whereas some of your `utf-8` string is represented by 
    # characters b/w 129 & 255. 

Я надеюсь, что это поможет и имеет смысл. Есть много материалов, которые онлайн обсуждают эту проблему (в том числе несколько моих собственных вопросов - for example :))