Hadoop и NLTK: сбой с ошибками

Question

Я пытаюсь запустить программу Python на Hadoop. Программа включает библиотеку NLTK. В программе также используется API Hadoop Streaming, как описано here.

mapper.py:

#!/usr/bin/env python 
import sys 
import nltk 
from nltk.corpus import stopwords 

#print stopwords.words('english') 

for line in sys.stdin: 
     print line, 

reducer.py:

#!/usr/bin/env python 

import sys 
for line in sys.stdin: 
    print line, 

консоли команду:

bin/hadoop jar contrib/streaming/hadoop-streaming.jar \ -file /hadoop/mapper.py -mapper /hadoop/mapper.py -file /hadoop/reducer.py -reducer /hadoop/reducer.py -input /hadoop/input.txt -output /hadoop/output 

Это работает Perfe ctly, с выходом, просто содержащим строки входного файла.

Однако, когда эта линия (от mapper.py):

#print stopwords.words ('английский')

является раскомментирована, то программа не говорит и

Job not successful. Error: # of failed Map Tasks exceeded allowed limit. FailedCount: 1.

Я проверил и в программах на языке Python,

print stopwords.words('english')

работает отлично, и поэтому я абсолютно в тупике, почему он заставляет мою программу Hadoop терпеть неудачу.

Я был бы очень признателен за любую помощь! Спасибо

Answer 1

Is 'русский' файл в print stopwords.words('english')? Если да, вам нужно использовать -file для этого, чтобы отправить его через узлы.

Answer 2

Используйте эти команды для распаковки:

importer = zipimport.zipimporter('nltk.zip') 
    importer2=zipimport.zipimporter('yaml.zip') 
    yaml = importer2.load_module('yaml') 
    nltk = importer.load_module('nltk') 

проверить ссылки, которые я вставленные выше. Они упомянули все этапы.