Unicode Поддержка данных в улье

Hive поддерживает данные в формате unicode в таблице в соответствии с документацией о кустах.Unicode Поддержка данных в улье

создать таблицу с «строка» типа данных и снабдили Юникода данных в него, но когда я говорю select * from <tablename> я получаю значения нежелательной

create table unicode (data string); 
load data local inpath 'unicode.txt' into table unicode;

Ниже выход выберите

Les caractï¿½res accentuï¿½s (Franï¿½ais) 

En donnï¿½es nous avons confiance 

Donnï¿½es, donnï¿½es, partout 
et tous les noeuds ï¿½taient dï¿½connectï¿½ 

Donnï¿½es, donnï¿½es, partout 
ni aucun bit ï¿½ traiter

Исходное содержание Аккумуляторы для автомобилей (Français)

En données nous avons confiance 

Données, données, partout 
et tous les noeuds étaient déconnecté 

Données, données, partout 
ni aucun bit à traiter

может кто-нибудь предложить, что может быть проблемой?

источник

2015-05-12 chhaya vishwakarma

Создать запрос таблицы в вашем случае создает таблицу с использованием стандартного улья serde i.e. simple lazy serde, этот serde не обрабатывает unicode.

Для обработки юникода вам необходимо определить таблицу с помощью других типов, таких как textinput или rcserde.

источник

2015-05-13 06:22:51

Всякий раз, когда я устанавливаю таблицу hive, она хранится в виде файла последовательности или текстового файла, каждый раз, когда идет с ленивым серилазером, как я могу установить textinput или rcserde – user145610

Сохраните текстовый файл как кодировку UTF-8, а затем загрузите данные в таблицу улья. Другие типы кодирования не поддерживаются.

источник

2016-03-08 19:07:13

Unicode Поддержка данных в улье

ответ

Смежные вопросы