Impala - файл не найден Ошибка

Question

Я использую импала с ломом в качестве фильтра.

Проблема заключается в желобе добавляет временные файлы с расширением .tmp, а затем, когда они будут удалены Impala запросы терпят неудачу со следующим сообщением:

Backend 0: Не удалось открыть файл HDFS HDFS://localhost:8020/user/hive/../FlumeData.1420040201733.tmp Error (2): нет такого файла или каталога

Как я могу сделать импала игнорировать эти временные файлы, или желобе не писать их или записать их в другой каталог?

конфигурации Flume:

### Agent2 - Avro Source and File Channel, hdfs Sink ### 
# Name the components on this agent 
Agent2.sources = avro-source 
Agent2.channels = file-channel 
Agent2.sinks = hdfs-sink 

# Describe/configure Source 
Agent2.sources.avro-source.type = avro 
Agent2.sources.avro-source.hostname = 0.0.0.0 
Agent2.sources.avro-source.port = 11111 
Agent2.sources.avro-source.bind = 0.0.0.0 

# Describe the sink 
Agent2.sinks.hdfs-sink.type = hdfs 
Agent2.sinks.hdfs-sink.hdfs.path = hdfs://localhost:8020/user/hive/table/ 
Agent2.sinks.hdfs-sink.hdfs.rollInterval = 0 
Agent2.sinks.hdfs-sink.hdfs.rollCount = 10000 
Agent2.sinks.hdfs-sink.hdfs.fileType = DataStream 
#Use a channel which buffers events in file 
Agent2.channels.file-channel.type = file 
Agent2.channels.file-channel.checkpointDir = /home/ubutnu/flume/checkpoint/ 
Agent2.channels.file-channel.dataDirs = /home/ubuntu/flume/data/ 

# Bind the source and sink to the channel 
Agent2.sources.avro-source.channels = file-channel 
Agent2.sinks.hdfs-sink.channel = file-channel 

Answer 1

Я имел эту проблему раз.

Я обновил hadoop и flume, и это было решено. (от cloudera hadoop cdh-5.2 до cdh-5.3)

Попробуйте модернизировать - hadoop, flume или impala.