Cloudera Docker image ... все ошибки

Question

У меня работает Macbook с 16 ГБ с операционной системой El Capitan. Я установил изображение Cloudera Docker используя

docker pull cloudera/quickstart:latest 
docker run --privileged=true --hostname=quickstart.cloudera -t -i 9f3ab06c7554 /usr/bin/docker-quickstart 

изображения, сапоги хорошо, и я могу видеть большинство услуг запуска

Started Hadoop historyserver:        [ OK ] 
starting nodemanager, logging to /var/log/hadoop-yarn/yarn-yarn-nodemanager-quickstart.cloudera.out 
Started Hadoop nodemanager:        [ OK ] 
starting resourcemanager, logging to /var/log/hadoop-yarn/yarn-yarn-resourcemanager-quickstart.cloudera.out 
Started Hadoop resourcemanager:       [ OK ] 
starting master, logging to /var/log/hbase/hbase-hbase-master-quickstart.cloudera.out 
Started HBase master daemon (hbase-master):    [ OK ] 
starting rest, logging to /var/log/hbase/hbase-hbase-rest-quickstart.cloudera.out 
Started HBase rest daemon (hbase-rest):     [ OK ] 
starting thrift, logging to /var/log/hbase/hbase-hbase-thrift-quickstart.cloudera.out 
Started HBase thrift daemon (hbase-thrift):    [ OK ] 
Starting Hive Metastore (hive-metastore):     [ OK ] 
Started Hive Server2 (hive-server2):      [ OK ] 
Starting Sqoop Server:          [ OK ] 
Sqoop home directory: /usr/lib/sqoop2 

Некоторые отказы, а

Failure to start Spark history-server (spark-history-server[FAILED]n value: 1 
Starting Hadoop HBase regionserver daemon: starting regionserver, logging to /var/log/hbase/hbase-hbase-regionserver-quickstart.cloudera.out 
hbase-regionserver. 
Starting hue:            [FAILED] 

Но когда загрузочное является если я попытаюсь запустить что-либо, это не сработает

например, пытаясь запустить искровую оболочку

[root@quickstart /]# spark-shell 
Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000b0000000, 357892096, 0) failed; error='Cannot allocate memory' (errno=12) 
# 
# There is insufficient memory for the Java Runtime Environment to continue. 
# Native memory allocation (malloc) failed to allocate 357892096 bytes for committing reserved memory. 
# An error report file with more information is saved as: 
# //hs_err_pid3113.log 

или пытается запустить Hive Shell

[root@quickstart /]# hive 
Unable to determine Hadoop version information. 
'hadoop version' returned: 
Hadoop 2.6.0-cdh5.5.0 Subversion http://github.com/cloudera/hadoop -r fd21232cef7b8c1f536965897ce20f50b83ee7b2 Compiled by jenkins on 2015-11-09T20:37Z Compiled with protoc 2.5.0 From source with checksum 98e07176d1787150a6a9c087627562c This command was run using /usr/jars/hadoop-common-2.6.0-cdh5.5.0.jar 
[root@quickstart /]# 

Мой вопрос: что я могу сделать так, что я могу запустить искровой скорлупу и улей оболочки успешно?

Answer 1

Поскольку вы используете Docker на Mac, Docker работает под VirtualBox, а не напрямую с памятью Mac. (То же самое произойдет в Windows).

Вероятно, вы не получите эти ошибки на хосте Linux, поскольку Docker там не виртуализирован.

Cludera quickstart vm рекомендует 8Gb памяти для запуска всех сервисов, а докер vm - всего 512 Мб, я думаю.

Решение состоит в том, чтобы остановить экземпляр докерной машины, открыть VirtualBox и увеличить объем памяти виртуальной машины по умолчанию до необходимой суммы.