У меня очень большой файл на моем Linux-сервере (в настоящее время более 10 ГБ), и содержимое продолжает добавлять в конец файла.Как обработать динамически растущий большой файл в Linux
У меня есть еще один скрипт, который должен обрабатывать этот файл около 1000 строк за раз. Каков наилучший способ получить строки из этого файла и работать на одном и том же.
Я думаю о команде sed, чтобы вырезать линии. Но это лучший подход?
Возможно, вы захотите взглянуть на этот родственный вопрос: http://stackoverflow.com/questions/42396561/monitor-a-log-file-using-tail-f/42398092#42398092 – codeforester
@codeforester спасибо за link. Но я не уверен, как реализовать это для огромного файла, используя сценарий оболочки. –
Это точно моя точка зрения. Вы гораздо лучше используете более продвинутый язык, например Ruby, Python или Perl. Я решил такие проблемы с Perl/C в прошлом. Баш определенно не является выбором. – codeforester