Как использовать ssh для запуска локального скрипта в скрипте qsub между двумя кластерами?

Question

Я программирую скрипт для операций над 2 кластерами.

Моя цель состоит в том, чтобы сфокусировать только один кластер, это означает, что каждый исходный код сценария находится только на одном из кластеров.

Например, в Cluster AI установили все скрипты, теперь я хочу, чтобы SSH к кластеру B, чтобы запустить эти скрипты без необходимости устанавливать их снова на кластерной B.

Я знал, что с Баш скрипт, как ssh root@ClusterB 'bash -s' < local_ClusterA_script.sh затем кластера B запустите local_ClusterA_script.sh из ClusterA.

Теперь есть еще проблема, что я должен использовать SSH, чтобы отправить пакетное задание на кластер В из кластера А, это пакетное задание нужен скрипт из кластера А.

# run.sh : 

#!/bin/bash 

INPUT_ARGS="$@" 
qsub -v argv="$INPUT_ARGS" -l arch=x86_64 -l walltime=10:00:00 -l vmem=8GB -l nodes=1:ppn=6 $CLUSTERA_BIN/run.script 

# run.script 
runprogram() 
{ 
    #Input 
    INPUT_ARGS=`echo $argv` 
    $CLUSTERA_BIN/runprogram.py "$INPUT_ARGS" ; 
} 

Так что моя проблема в том, где кластер B найти $CLUSTERA_BIN/runprogram.py? Как сделать код в run.script успешно запущен в кластере B?

Одна команда Я думал, что это будет ssh root@ClusterB 'bash -s' < run.sh $MYARGS, но очевидно, что это не сработает.

Answer 1

Cluster B должен получить доступ к тем файлам, которые ему нужны. Так что у вас есть несколько вариантов:

1. передумал и копирование (означает scp, rsync, ...) файлы в кластер B. Вы можете также рассмотреть возможность использования системы контроля версий (например, svn, git ...) для синхронизации файлов между несколькими хостами.
2. Когда Cluster B нуждается в файле, получите его из кластера A на лету (например, с помощью пароля scp).
3. Поместите свои файлы под одной директории из кластера А и доли (средства NFS, SMB ...) реж к кластеру B.
4. ... ...