извлекать строки файла каждый день в bash

Question

У меня есть файл с 20.000.000 строк и каждый день, чтобы этот файл был добавлен или удален некоторые строки, и мне нужно сделать crontab, мне нужно каждый день получить 9 файлов из 50 000 строк ,

Например:

BigFile is my file with 20.000.000 lines. 

И мне нужно генерировать 9 файлов, первый файл с линией 1 до 50000, второй файл с линией 50001 до 100000, третий файл линии 100001 до 150000 . . .

Я не могу сделать раскол в первый раз, потому что мой файл меняет все дни, а вторая проблема, которая у меня есть, - если в первый раз я получу свои 9 файлов во второй день, мне нужно продолжить использование последней строки.

Например, в первый день я использую 450 000 строк, затем на второй день мне нужна первая строка с линией 450001 до 500000, а на третий день мне нужно использовать 900001 для моего первого файла.

Раскола не работает, потому что, если я использую раскол в первый раз, файлы меняются, то файлы, которые у меня есть, не работают на второй день

Можете ли вы мне помочь?

Answer 1

Используйте команду split (manpage).

Например:

$ split -l 50000 /path/to/bigfile