Как преобразовать строку в UTF8 в Ruby

Question

Я пишу сканер, который использует Hpricot. Он загружает список строк с некоторой веб-страницы, затем я пытаюсь записать ее в файл. Что-то с кодировкой:

"\xC3" from ASCII-8BIT to UTF-8 

У меня есть элементы, которые отображаются на веб-странице и отпечатанные таким образом:

Développement 

в str.encoding возвращается UTF-8, так force_encoding('UTF-8') не помогает. Как я могу преобразовать это в читаемый UTF-8?

Answer 1

Ваша строка, кажется, был закодирован навыворот:

"Développement".encode("iso-8859-1").force_encoding("utf-8") 
#=> "Développement" 

Answer 2

Кажется, ваша строка думает, что это UTF-8, но на самом деле, это что-то еще, вероятно, ISO-8859-1.

Сначала определите правильную кодировку, затем преобразуйте ее в UTF-8.

В вашем примере:

puts "Développement".encode('iso-8859-1').encode('utf-8') 

Альтернатива:

puts "\xC3".force_encoding('iso-8859-1').encode('utf-8') #-> Ã 

Если Ã не имеет смысла, то попробуйте другую кодировку.

Answer 3

"ruby 1.9: invalid byte sequence in UTF-8" описал еще один хороший подход с меньшим количеством кода:

file_contents.encode!('UTF-16', 'UTF-8')