Curl список URL из файла и сделать его быстрее, с параллельным

Question

Сейчас я использую followin код:

while read num; 
    do M=$(curl "myurl/$num") 
    echo "$M" 
done < s.txt 

где s.txt содержит список (1 в каждой строке) части из URL-адрес.

Правильно ли считать, что завиток работает последовательно? Или он работает в потоке/заданиях/множественном соединении за раз?

Я нашел в Интернете:

parallel -k curl -s "http://example.com/locations/city?limit=100\&offset={}" ::: $(seq 100 100 30000) > out.txt 

Проблема заключается в том, что моя последовательность исходит из файла или из переменной (один элемент в каждой строке), и я не могу адаптировать его к моим потребностям

я не до конца понял, как передать список параллельно

Если я сохранить все команды завитка в списке и запустить его с параллельным -a?

С уважением,

Answer 1

parallel -j100 -k curl myurl/{} < s.txt 

Рассмотрим тратить час пешком через man parallel_tutorial. Ваша командная строка вас полюбит.