Архивирование, сжатие и копирование большого количества файлов по сети

Question

Я пытаюсь скопировать файлы, превышающие 500000 (около 1 ТБ), через ssh, однако труба выходит из строя, поскольку я превысил ограничение времени для ssh на удаленный компьютер,

поэтому я перешел к архивированию и сжатию (используя tar и gzip) все файлы на удаленном компьютере, однако, даже если я оставлю процесс в фоновом режиме, так как я превысил время для ssh'ing 'на удаленный компьютер компьютер, процесс отменяется.

Наконец, я перешел к сжатию файлов один за другим, а затем tarring (на основе предположения, что архивирование занимает много времени для большого количества файлов), однако, я получаю ошибку, что список аргументов слишком длинный.

Поскольку все эти файлы распространены в 20 таких папках, я не хочу вводить их каждый и делить на дальнейшие папки и архивировать &, сжимая его.

Любые предложения были бы очень полезными.

Answer 1

Определенно tar и gz либо все это, либо 20 каталогов индивидуально (я бы сделал последнее, чтобы разделить и завоевать хотя бы немного). Это уменьшает общее время передачи и обеспечивает хорошую проверку ошибок на другом конце.

Используйте rsync через ssh, чтобы выполнить передачу. Если он посередине посередине, используйте rsync --append, чтобы выбрать, где вы остановились.