Я пытаюсь выполнить NLTK в среде Hadoop. Ниже приведена команда, которую я использовал для выполнения.Как разрешить java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): сбой подпроцесса с кодом 2?

bin/hadoop jar $ HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar -input/user/nltk/input/-output/user/nltk/output1/-file/home/hduser/программное обеспечение /NLTK/unsupervised_sentiment-master.zip -mapper /home/hduser/softwares/NLTK/unsupervised_sentiment-master/sentiment.py

unsupervised_sentiment-master.zip --- содержит все зависимые файлы, необходимые для sentiment.py

Я получаю

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): подпроцесс неудачу с кодом 2 в орг .apache.hadoop.streaming.PipeMapRed.waitOutputThreads (PipeMapRed.java:362) на org.apache.hadoop.streaming.PipeMapRed.mapRedFinished (PipeMapRed.java:576) на org.apache.hadoop.streaming.PipeMapper.close (PipeMapper.java:135) на org.apache.hadoop.mapred.MapRunner.run (MapRunner.java:57) на org.apache.hadoop.streaming.PipeMapRunner.run (PipeMapRunner.java:36) at org .apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:436) на org.apache.hadoop.mapred.MapTask.run (MapTask.java:372) на org.apache.hadoop.mapred.Child $ 4. run (Child.java:255) at java.security.AccessController.doPrivileged (родной метод) at javax.security.auth.Subject.doAs (Subject.java:415) at org.apache.hado op.security.UserGroupInformation.doAs (UserGroupInformation.java:1121) в org.apache.hadoop.mapred.Child.main (Child.java:249)

Любая помощь будет принята с благодарностью !!!

источник

2013-05-06 Praveen Gr

Вы должны проверить журналы, используя jobtracker в HadoopUI, они помогут вам – viper

Не могли бы вы опубликовать файлы python? Я предполагаю, что вам нужно добавить #!/Usr/bin/python в начало файла py. Это был случай, когда я транслировал с помощью python.

Бест, Хари

источник

2013-06-08 14:33:20

Это исправлено для меня с той же ошибкой, что и OP. –

@Harisankar Krishna Swamy Я также получаю эту ошибку, даже я установил #!/Usr/bin/python поверх файла .py. Можете ли вы взять добычу по моему вопросу. Я дал описание сценария http: // stackoverflow.ком/вопросы/29791437/питон-Hadoop-потоковые ошибки ошибок потокового streamjob-работа-не-успешный-а – MegaBytes

Я не могу точно сказать, что ваша ошибка, а у меня было то, что у меня была нерешенная зависимость в моем питон скрипт. А именно statsmodels.

источник

2014-07-31 04:32:38

Добавление ниже строки в начало скрипта python заставило код работать для меня. !

#/USR/бен/питон

источник

2014-10-05 06:18:03 user3886907

В файле sentiment.py, добавьте следующую строку в верхний:

`` `

/USR/бен/ENV питон

`` `

Это сработало для меня.

источник

2017-11-17 18:50:56

Как разрешить java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): сбой подпроцесса с кодом 2?

ответ

/USR/бен/ENV питон

Смежные вопросы