Ambari BigInsights Kafka Not Starting

Question

Ну, кажется, я ударил свой первый выпуск с помощью моего BigInsights Image, а не массивную проблему, но о чем подумать. На моей странице служб браузера Ambari было показано, что служба Kafka не запускалась, я несколько раз пытался перезапустить, но это, казалось, постоянно терпит неудачу. Поэтому я подумал, что лучше всего поразмышляю над этим. В этом случае проблема была на сервере Ambari Master, на котором работает большинство служб. Так первый вызов действий, чтобы увидеть, если возможно Ambari не делает вызов правильно:

[root@master ~]# kafka 
Usage: /usr/bin/kafka {start|stop|status|clean} 
[root@master ~]# kafka status 
Kafka is not running. 
[root@master ~]# kafka start 
Starting Kafka succeeded with PID=15815. 
[root@master ~]# kafka status 
Kafka is not running. 

Далее я уставший чистое начало, не то, что я полагал, что это будет большой разницы, но, возможно, была проблема с журналы не позволяя ему перезапустить:

[root@master ~]# kafka clean 
Removed the Kafka PID file: /var/run/kafka/kafka.pid. 
Removed the Kafka OUT file: /var/log/kafka/kafka.out. 
Removed the Kafka ERR file: /var/log/kafka/kafka.err. 
[root@master ~]# kafka status 
Kafka is not running. No pid file found. 
[root@master ~]# kafka start 
Starting Kafka succeeded with PID=15875. 
[root@master-01 ~]# kafka status 
Kafka is not running. 

Answer 1

Так давайте правильный взгляд на журналы:

[root@master ~]# ls -ltr /var/log/kafka/ 
-<cut>- 
-rw-r--r-- 1 kafka hadoop 6588 Aug 11 13:55 controller.log.2015-08-11-13 
-rw-r--r-- 1 kafka hadoop 6000 Aug 11 13:59 server.log.2015-08-11-13 
-rw-r--r-- 1 kafka hadoop 6588 Aug 11 14:55 controller.log 
-rw-r--r-- 1 kafka hadoop 5700 Aug 11 14:56 server.log 
-rw-r--r-- 1 root root  284 Aug 11 15:09 kafka.err 
-rw-r--r-- 1 root root  522 Aug 11 15:09 kafka.out 
-rw-r--r-- 1 kafka hadoop 707 Aug 11 15:09 kafkaServer-gc.log 

Давайте посмотрим на ошибки и из файлов:

[root@master ~]# cat /var/log/kafka/kafka.err 
OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12) 
OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12) 
[root@master ~]# cat /var/log/kafka/kafka.out 
# 
# There is insufficient memory for the Java Runtime Environment to continue. 
# Native memory allocation (mmap) failed to map 986513408 bytes for committing reserved memory. 
# An error report file with more information is saved as: 
# /root/hs_err_pid15875.log 
# 
# There is insufficient memory for the Java Runtime Environment to continue. 
# Native memory allocation (mmap) failed to map 986513408 bytes for committing reserved memory. 
# An error report file with more information is saved as: 
# /root/hs_err_pid16305.log 

Ах, это странно, как я просил, по крайней мере, 4 Гб оперативной памяти для моей виртуальной машины, позволяет проверить:

[root@master ~]# cat /proc/meminfo 
MemTotal:  1922260 kB 
MemFree:   278404 kB 
Buffers:   8600 kB 
Cached:   43384 kB 

Лучшее получить больше памяти выделяется! Обычно минимальное значение, которое вы должны установить BigInsights с, как рекомендовано на страницах поддержки IBM, составляет 8 ГБ, поэтому это дает вам представление о том, почему. Как минимум 2 ГБ - это просто запуск установленных служб в системе, даже до начала загрузки БД и выполнения запросов.