Как запустить WordCount в Amazon EMR?

Question

Каков правильный способ указания пути ввода и вывода в Amazon EMR?

В моем кластере я нажал Add Step, затем выберите Custom Jar и введите местоположение баннера s3://wordcountbuckett/wc.jar. Для поля ввода аргументов я указал s3://wordcountbuckett/file01 в качестве моего входного файла и s3://wordcountbuckett/output/ в качестве моего выходного пути.

file01 является txt-файлом, тогда как/output/является папкой.

Ниже ошибка, которую я получил из журналов

Exception in thread "main" java.lang.ClassNotFoundException: s3://wordcountbuckett/ 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Class.java:278) 
    at org.apache.hadoop.util.RunJar.run(RunJar.java:214) 
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136) 

My Add Step details: 
1. Step Type : Custom Jar 
2. Name : WordCount2 
3. JAR Location : s3://mywordcountbuckett/binary/wc.jar 
4. Arguments: s3://mywordcountbuckett/input/ 
s3://mywordcountbuckett/output/ 
5. Action on Failure : Continue 

Answer 1

вы уверены, что указали правильный путь? Потому что в тексте вы говорите о s3://wordcountbuckett/wc.jar, но в вашей настройке шага добавления вы указываете s3://mywordcountbuckett/... Я предлагаю проверить, является ли это проблемой или просто опечаткой.