Virtual Cluster с Vagrant за корпоративный прокси

Question

Я пытаюсь запустить виртуальный кластер Apache Hadoop на моем ноутбуке с помощью Vagrant и Cloudera менеджер, следуя этим инструкциям:

http://blog.cloudera.com/blog/2014/06/how-to-install-a-virtual-apache-hadoop-cluster-with-vagrant-and-cloudera-manager/

Я использую Dell Precision M4800 Ноутбук рабочей станции с 16 ГБ оперативной памяти, в котором работает ОС Ubuntu 16.04 LTS (Xenial Xerus).

Я успешно удалось установить VirtualBox и Vagrant, но я не могу подключиться к узлам кластера мой, что я сделал:

1. настроить параметры прокси для инструментов CLI:

   $export http_proxy="http://user:password@proxy_server:port" 
   $export https_proxy="https://user:password@proxy_server:port"" 
   

2. перейти в каталог проекта

3. обновления хостов файл на каждой активной машине:

   $vagrant hostmanager 
   

4. создавать и конфигурировать гостевые машины в соответствии с Vagrantfile

   $vagrant up 
   

5. Попробуйте серфингу в http://vm-cluster-node1:7180 но получил ошибку «сервер не найден»

Поскольку я за корпоративным прокси-I установлен плагин vagrant proxyconf, как предлагается здесь: How to use vagrant in a proxy environment?

и чем я изменил мои Vagrantfile добавив следующие строки:

if Vagrant.has_plugin?("vagrant-proxyconf") 
    config.proxy.http  = "http://user:password@proxy_server:port" 
    config.proxy.https = "https://user:password@proxy_server:port" 
    config.proxy.no_proxy = "localhost,127.0.0.1" 
end 

сейчас проблема в том, что после того, как бродяг до команд я получаю следующее сообщение об ошибке:

==> master: Failed to fetch http://archive.cloudera.com/cm5/ubuntu/precise/amd64/cm/pool/contrib/e/enterprise/cloudera-manager-daemons_5.8.2-1.cm582.p0.17~precise-cm5_all.deb  Connection failed 
==> master: Failed to fetch http://archive.cloudera.com/cm5/ubuntu/precise/amd64/cm/pool/contrib/o/oracle-j2sdk1.7/oracle-j2sdk1.7_1.7.0+update67-1_amd64.deb  Connection failed 
==> master: E: Unable to fetch some archives, maybe run apt-get update or try with --fix-missing? 
==> master: cloudera-scm-server-db: unrecognized service 
==> master: cloudera-scm-server-db: unrecognized service 
==> master: cloudera-scm-server: unrecognized service 
The SSH command responded with a non-zero exit status. Vagrant assumes 
that this means the command failed. The output for this command should be 
in the log above. Please read the output to determine what went wrong. 

Что я делаю неправильно?

Answer 1

Оказалось, что это не проблема конфигурации прокси (эта конфигурация была правильной), но это проблема корпоративного брандмауэра, брандмауэр позволяет загружать только определенные пакеты.

Я «решил» проблему, установив Cloudera Manager, используя мой мобильный телефон в качестве точки доступа.

После того, как кластер Cloudera и стек Hadoop установлены в вашем кластере, вы можете использовать веб-интерфейс Cloudera Manager и управлять своим кластером в защищенной среде.

Единственная проблема заключается в том, что некоторые важные функции кластера, такие как синхронизация часов не работают должным образом в корпоративной среде, в частности, я обнаружил, что мои блоки компании брандмауэр NTP (проблема лучше описано здесь: https://askubuntu.com/questions/429306/ntpdate-no-server-suitable-for-synchronization-found)