Amazon EMR Tunneling Zeppelin и Jupyter Notebook

Question

Я запускаю Spark EMR на Amazon EC2, и я пытаюсь подключить Jupyter Notebook и Zeppelin, поэтому я могу получить к ним доступ локально.

Я попытался запустить следующую команду без успеха:

ssh -i ~/user.pem -ND 8157 hadoop@ec2-XX-XX-XXX-XX.compute-1.amazonaws.com 

Что такое туннелирование и как я могу настроить его так, что я могу использовать Jupyter ноутбук и дирижабль на ОМ?

Есть ли способ настроить базовую конфигурацию, чтобы сделать эту работу?

Большое спасибо.

Answer 1

Приложения, такие как 8890, для Zeppelin на главном узле, не отображаются вне кластера. Итак, если вы пытаетесь получить доступ к ноутбуку со своего ноутбука, это не сработает. SSH-туннелирование - это способ безопасного доступа к этим портам через SSH. Вам не хватает хотя бы одного шага, описанного в Set Up an SSH Tunnel to the Master Node Using Dynamic Port Forwarding. В частности, «После того, как туннель активен, настройте прокси-сервер SOCKS для вашего браузера».