Выполнение последовательных команд через SSH на нескольких серверах

Question

у меня есть список серверов в файле, который я прохожу к следующему сценарию:

#!/bin/bash 

while IFS='' read -r line || [[ -n "$line" ]]; do 

    ssh_cmd="user@$line" 
    ssh $ssh_cmd 'hostname && ls -l /path/to/folder | grep some_token' & 

done < "$1" 

То, что я хочу, выводимое так:

output from hostname (1) 
    output from ls -l (1) 
    output from hostname (2) 
    output from ls -l (2) 
    output from hostname (3) 
    output from ls -l (3) 

Но они, кажется, перепутаны:

output from ls -l (1) 
    output from hostname (1)  
    output from hostname (2) 
    output from ls -l (2) 
    output from ls -l (3) 
    output from hostname (3) 

Есть ли способ гарантировать, что эти команды выполняются последовательно?

Благодарим вас за консультацию!

Answer 1

& в конце этой линии делает это так, процесс выполняется в фоновом режиме:

ssh $ssh_cmd 'hostname && ls -l /path/to/folder | grep some_token' & 

Если удалить & из этой строки, скрипт будет ждать, пока SSH сессия не закончится, чтобы продолжить к следующей итерации цикла. Кроме того, вам нужно будет добавить флаг -n в команду ssh, чтобы он не читал из stdin. Это даст вам последовательный вывод, который вы ищете.

Final команды:

ssh -n $ssh_cmd 'hostname && ls -l /path/to/folder | grep some_token' 

Answer 2

Используйте GNU Parallel, чтобы сделать их все красиво параллельно и использовать опцию -k сохранить вывод в порядке:

parallel -k -a hosts.txt 'echo ssh user@{} "hostname; ls"' 

Итак, если hosts.txt содержит следующее:

host1 
host27 
host32 
host100 
hostfreddyfrog 
hostmichaelfish 

вы получите t его:

ssh user@host1 hostname; ls 
ssh user@host27 hostname; ls 
ssh user@host32 hostname; ls 
ssh user@host100 hostname; ls 
ssh user@hostfreddyfrog hostname; ls 
ssh user@hostmichaelfish hostname; ls 

Obvioulsy вам нужно удалить echo и добавить в ваш цитирование и захватывающий, но концепция должна быть достаточно ясной.

Еще одно преимущество, кроме того, что в настоящее время один вкладыш, является то, что если у вас есть 32000 хостов работать, GNU Parallel можно сказать, используя -j флаг, сколько процессов для запуска в то время без перегрузки сервера , По умолчанию, если у вас есть 8 ядер в вашем процессоре, он будет работать 8 рабочих мест параллельно, но вы можете установить его на 64, например, с

parallel -k -j 64 ... 

Вы также можете настроить GNU Parallel, чтобы иметь возможность ssh в хостах как правило, для распределения рабочих мест между серверами, тогда задача становится еще проще.

parallel -S node1,node4,node56 'hostname; grep ...' 

См example here.

АЛЬТЕРНАТИВА синтаксиса для прохождения hosts.txt является

parallel -k 'echo ssh user@{} "hostname; ls"' < hosts.txt 

или

parallel -k 'echo ssh user@{} "hostname; ls"' :::: hosts.txt