Вложенные в петлевые перекрестные загрязнения

Question

Я хочу объединить большую группу CSV в несколько 1 млн. Строк файлов, и так или иначе имена файлов CSV загрязняют мой вывод большими группами. Нет места, где я повторяю переменную $ file, поэтому я смущен тем, почему они попадают в мой вывод.

данные я использую проверяется в github

batchnum=1 
ctr=1 
IFS=$'\n' 
for file in `ls -1 *.csv` 
do 
    for data in `cat $file` 
    do 
    echo $data >> batch${batchnum}.csv 
    ctr=$[ctr + 1] 
    if [ $ctr -eq 1000000 ] 
    then 
     batchnum=$[$batchnum + 1] 
     ctr=1 
    fi 
    done 
done 

Это не очень важный вопрос, но он оставил меня почесал голову.

Answer 1

Некоторые из этих файлов CSV имеют в них данные, которые выглядят как глобусы для оболочки. Поскольку ваш скрипт делает echo $data неуказанным образом, вы увидите содержимое всего каталога, расширенного в виде глобусов на вашем выходе. Вы можете исправить это с помощью нескольких цитат:

echo "$data" >> batch${batchnum}.csv 

Какой бы также привести к Баш не затирать пробелов. Или вы можете отключить расширение Глоб:

set -f 
echo $data >> batch${batchnum}.csv