Unicode character with flume

Question

Я пытаюсь поместить CSV-файл в HDFS, используя flume, файл также содержит символы юникода.

Как только файл находится в HDFS, я попытался просмотреть содержимое, но не смог правильно увидеть записи.

Содержимое файла

Name age sal msg 

Abc  21 1200 Lukè éxample àpple 

Xyz  23 1400 er stîget ûf mit grôzer 

Выход в консоли

Я сделал hdfs dfs -get /flume/events/csv/events.1234567

Ниже является выходным

Name,age,sal,msg 

Abc,21,1200,Luk��xample��pple 

Xyz,23,1400,er st�get �f mit gr�zer 

D oes flume поддерживает символы Unicode? Если нет, то как его можно обрабатывать

Answer 1

Да Flume поддерживает символ Unicode. Вы можете прочитать свой файл Unicode, используя flume и передать данные в HDFS. Это похоже на другую проблему. Измените hdfs.fileType на DataStream и посмотрите, можете ли вы правильно прочитать вывод.

a1.sources = r1 
a1.channels = c1 
a1.sinks = k1 

#source 
a1.sources.r1.type = exec 
a1.sources.r1.command = tail -F /root/user/shashi/unicode/french.txt 
a1.sources.r1.restart = true 

#sink 

a1.sinks.k1.type = hdfs 
a1.sinks.k1.hdfs.path = /flume/events/ 
a1.sinks.k1.hdfs.filePrefix = events- 
a1.sinks.k1.hdfs.round = true 
a1.sinks.k1.hdfs.fileType = DataStream 
#channel 
a1.channels.c1.type = memory 

#connect 
a1.sources.r1.channels = c1 
a1.sinks.k1.channel = c1 

Вот конфигурация smaple, которую я использовал.