linux cron truncate большой файл

Question

У меня есть большой файл csv, который мне нужно свести до последних 1000 строк через работу cron каждый день.

Может ли кто-нибудь предложить, как это сделать?

То, что я до сих пор две команды, но не знаю, как объединить их

Для удаления строки из самого начала файла команда

ed -s file.csv <<< $'1,123d\nwq'

где 123 это число строк, необходимых для удаления с начала файла

Для считывания количества строк в файле команда

wc -l file.csv 

Мне нужно было вычесть 1000 из этого и передать результат первой команде Есть ли способ объединить результат команды wc в команде ed?

Спасибо заранее

Answer 1

Предполагая, что Баш является оболочка, «файл» является файлом (и существует):

sed -i "1,$(($(wc -l < file) - 1000))d" file 

Edit: краткая версия не будет работать, чисто для файлов с 1000 или меньше строк. Более надежный скрипт, обработки всех .csv файлов в определенном каталоге:

#!/bin/env bash 

DIR=/path/to/csv/files 
N=1000 

for csv in $DIR/*.csv; do 
    L=$(wc -l < $csv) 
    [ $L -le $N ] && continue 
    sed -i "1,$(($L - $N))d" $csv 
done 

Следующая редактировать: обрабатывать каталог без каких-либо файлов .csv?