как преобразовать кодировку символов с ruby ​​1.9

Question

У меня возникли проблемы с результатами amazon api.

служба возвращает строку с юникод символов: Learn Цель \ XE2 \ x80 \ x93C на Mac (Learn Series)

с рубином 1.9.1 строка не может даже были обработаны:

REXML::ParseException: #<Encoding::CompatibilityError: incompatible encoding regexp match (UTF-8 regexp with ASCII-8BIT string)> 

... 

Exception parsing 

Line: 1 

Position: 1636 

Last 80 unconsumed characters: 

Learn Objective–C on the Mac (Learn Series) 

Answer 1

В качестве точек исключения ваша строка кодируется ASCII-8BIT. Вы должны изменить кодировку. Существует long story об этом, но если вы заинтересованы в быстром решении, просто force_encoding на строку, прежде чем сделать какой-либо обработки:

s = "Learn Objective\xE2\x80\x93C on the Mac" 
# => "Learn Objective\xE2\x80\x93C on the Mac" 
s.encoding 
# => #<Encoding:ASCII-8BIT> 
s.force_encoding 'utf-8' 
# => "Learn Objective–C on the Mac" 

Answer 2

решение Младен работает, если все, что закодировано в ASCII-8bit фактически могут быть преобразованы непосредственно к UTF-8. Он прерывается, когда есть символы, которые 1) недействительны, или 2) не определены в UTF-8. Тем не менее, это будет работать (в 1.9.2 и выше:.

new_str = s.encode('utf-8', 'binary', :invalid => :replace, 
    :undef => :replace, :replace => '') 

ASCII-8BIT эффективно двоичный Этот код преобразует кодировку UTF-8, в то время как правильно дело с некорректными и неопределенных символов, которые:. Недопустимый параметр указывает, что недействительные символы будут заменены. Опция: undef указывает, что заменяются неопределенные символы. Опция: replace определяет, что заменить недействительные или неопределенные символы. В этом случае я решил просто удалить их.