Не удалось найти файлы в потоке hadoop

Question

У меня проблема с Hadoop Streaming - Unable to find file error. Однако ни одно из представленных решений не работает.

Моя командная строка:

hadoop jar /mnt/shared/hadoop-streaming-1.0.3.jar -input /user/cloudera/mz_paf/batch_sk=1234 \ 
-output /user/cloudera/mz_paf/out \ 
-file /mnt/shared/java/paf-rules.properties -file /mnt/shared/java/pafvalid.py \ 
-mapper "pafvalid.py paf-rules.properties 10" 

Это приводит к

java.io.IOException: Cannot run program "pafvalid.py": java.io.IOException: error=2, No such file or directory 
    at java.lang.ProcessBuilder.start(ProcessBuilder.java:460) 
    at org.apache.hadoop.streaming.PipeMapRed.configure(PipeMapRed.java:214) 
    at org.apache.hadoop.streaming.PipeMapper.configure(PipeMapper.java:66) 

Я попробовал несколько других подходов, также упомянутых в этом другом вопросе SOF включая использование местоположения HDFS для входных файлов: еще же ошибка файла не найдена. Также попробовал просто иметь файлы в локальном каталоге, чтобы избежать проблем с пути. Еще нет кубиков.

Answer 1

Я не передал аргумент непосредственно в командной строке с использованием потоковой передачи hadoop. Если бы я был вами, я постараюсь сначала поставить эти аргументы внутри сценария Python.

затем изменить командную строку здесь

-mapper "pafvalid.py paf-rules.properties 10" 

Для

-mapper /mnt/shared/java/pafvalid.py 

Поправьте меня, если вы поймете, что из