Кошка несколько тысяч файлов

Question

У меня есть несколько (60 000) файлов в папке, которые необходимо объединить в 3 отдельных файла. Как я мог бы сделать это так, чтобы каждый файл содержал содержимое ~ 20 000 из этих файлов?

Я знаю, что это было бы похоже на петлю:

for i in {1..20000} 
do 
cat file-$i > new_file_part_1 
done 

Answer 1

Выполнение:

cat file-$i > new_file_part_1 

усечет new_file_part_1 каждый раз, когда цикл повторяется. Вы хотите добавить в файл:

cat file-$i >> new_file_part_1 

Answer 2

Предполагая, что это не имеет значения, какой входной файл переходит к которому выходной файл:

for i in {1..60000} 
do 
    cat file$i >> out$(($i % 3)) 
done 

Этот скрипт использует оператор по модулю % разделить вход на 3 бункера; он будет генерировать 3 выходных файлов:

• OUT0 содержит file3, file6, file9 ...
• out1 содержит file1, file4, file7 ...
• out2 содержит file2, file5, file8,. ..

Answer 3

Другие ответы закрывают и открывают файл на каждой итерации. Я предпочел бы

for i in {1..20000} 
do 
    cat file-$i 
done > new_file_part_1 

поэтому выход всех cat прогонов по трубам в один файл один раз открытой компании все.

Answer 4

#!/bin/bash 

cat file-{1..20000} > new_file_part_1 

Это запускает cat только один раз и открывает и закрывает выходной файл только один раз. Никакой цикл не требуется, поскольку cat может принимать все 20000 аргументов.

Проницательный наблюдатель отметил, что в некоторых системах аргументы 20000 могут превышать лимит системы ARG_MAX. В таком случае можно использовать xargs, за что штраф cat будет запущен более одного раза (но все же значительно меньше 20000 раз).

echo file-{1..20000} | xargs cat > new_file_part_1 

Это работает, потому что, в Bash, echo является оболочкой встроенной и как таковой не подлежит ARG_MAX.