Я пытаюсь смоделировать среду Hadoop, используя последнюю версию Hadoop 2.6.0, Java SDK 1.70 на рабочем столе Ubuntu. Я настроил Hadoop с необходимыми параметрами окружающей среды и все ее процессы и работают, и их можно увидеть с помощью следующей команды JPS:Hadoop MapReduce Job Hangs
[email protected]:~$ jps 2810 NameNode 3149 SecondaryNameNode 3416 NodeManager 3292 ResourceManager 2966 DataNode 4805 Jps
Я мог бы также увидеть вышеуказанную информацию, а также ДФС файлы через браузер Firefox , Однако, когда я пытался выполнить простую работу WordCound MapReduce, он зависает и не производит никакого вывода или не показывает никаких сообщений об ошибках. Через некоторое время я убил процесс, используя команду «job-job -kill». Можете ли вы, пожалуйста, направить меня, чтобы найти причину этой проблемы и как ее решить? Я даю ниже снимок экрана «Начало работы и убить» (конец).
Если вам нужна дополнительная информация, пожалуйста, дайте мне знать.
Ваша помощь будет высоко оценена.
Спасибо,
=================================================================== [email protected]:~/dev$ hadoop jar wc.jar WordCount /user/nandu/input /user/nandu/output 15/02/27 10:35:20 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 15/02/27 10:35:20 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 15/02/27 10:35:21 WARN mapreduce.JobSubmitter: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this. 15/02/27 10:35:21 INFO input.FileInputFormat: Total input paths to process : 2 15/02/27 10:35:21 INFO mapreduce.JobSubmitter: number of splits:2 15/02/27 10:35:22 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1425048764581_0003 15/02/27 10:35:22 INFO impl.YarnClientImpl: Submitted application application_1425048764581_0003 15/02/27 10:35:22 INFO mapreduce.Job: The url to track the job: http://nandu-Desktop:8088/proxy/application_1425048764581_0003/ 15/02/27 10:35:22 INFO mapreduce.Job: Running job: job_1425048764581_0003 ==================== at this point the job was killed =================== 15/02/27 10:38:23 INFO mapreduce.Job: Job job_1425048764581_0003 running in uber mode : false 15/02/27 10:38:23 INFO mapreduce.Job: map 0% reduce 0% 15/02/27 10:38:23 INFO mapreduce.Job: Job job_1425048764581_0003 failed with state KILLED due to: Application killed by user. 15/02/27 10:38:23 INFO mapreduce.Job: Counters: 0
Я понял, почему эта работа висит - процесс mapreduce не имел достаточного пространства для успешного запуска. Я очистил несколько каталогов, удалив ненужные большие (.gz) файлы, которые сделали достаточно места для запуска mapreduce. Если вы находитесь в подобной ситуации, убедитесь, что у вас достаточно свободного места на диске, чтобы он не зависал. – NanduSawant