Подключение к Hadoop из приложения Java с использованием SSH

Question

Я пытаюсь подключиться к удаленному клану hadoop, который недоступен только через HDFS. В настоящее время он используется таким образом: пользователь подключается к строке перехода через SSH (например, ssh user@somejumboxhost.com), а затем из сервера с ящиками вы можете подключиться к hadoop также с помощью ssh (например, ssh user@realhadoopcluster1.com). Я пытаюсь получить доступ к файлам из моего приложения Scala/Java с помощью HDFS-клиента. Теперь я чувствую себя в Матрице - «Я должен идти глубже» и не знаю, как добраться до сервера.

Может быть, у кого-то был подобный опыт? Прямо сейчас я пытаюсь подключиться к первому серверу с SSH-клиентом из своего приложения, но тогда я не знаю, как назвать клиента HDFS.

Любые идеи будут оценены, спасибо!

Answer 1

Я могу думать о чем-то подобном. Существует «ganymed-ssh2» api, который помогает вам подключиться к некоторому серверу с помощью ssh и запустить команду unix оттуда. Используя это, вы можете подключиться к вашему jumo box.

И оттуда вы можете запустить команду как «SSH user@realhadoopcluster1.com Hadoop фс Somthing»

Как мы можем запускать команды с SSH, как это.

С вашего сканера установите пароль менее ssh на свою машину hadoopcluster. или вы можете использовать sshpass с паролем.

Вы можете посетить следующую ссылку, чтобы проверить, как использовать этот API:

http://souravgulati.webs.com/apps/forums/topics/show/8116298-how-to-execute-unix-command-from-java-

Answer 2

Hadoop реализован в Java, так что вы можете просто запустить кластер Hadoop непосредственно из приложения. Используйте Java RMI, если это удаленный кластер. Этот дополнительный трубопровод, который вы пытаетесь сделать, не имеет смысла.