Как отредактировать большой файл

Question

Представьте себе огромный файл, который должен быть отредактирован моей программой. Чтобы увеличить время чтения, я использую mmap(), а затем только считываю детали, которые просматриваю. Однако, если я хочу добавить строку в середине файла, для чего лучше всего подходит?

Это единственный способ добавить строку, а затем переместить остальную часть файла? Это звучит дорого.

Так что мой вопрос в основном: Каков наиболее эффективный способ добавления данных в середине огромного файла?

Answer 1

Единственный способ вставить данные в середине любого (огромного или маленького) файла (в Linux или POSIX) - это скопировать этот файл (в новый, затем позже rename(2) экземпляр в качестве оригинала). Таким образом, вы скопируете его голову (до точки вставки), вы добавите данные в эту копию, а затем скопируете хвост (после точки вставки). Вы могли бы также назвать posix_fadvise(2) (или даже конкретный Linux readahead(2) ...), но это не снимает необходимость скопировать все данные. mmap(2) может использоваться, например. для замены read(2), но все, что вы делаете, требует копирования всех данных.

Конечно, если это произойдет, что вы заменяете порцию данных в середине файла другого куска в же размера (так что нет реальной вставки), вы можете использовать обычный lseek(2) + write(2)

Это единственный способ добавить строку, а затем переместить остальную часть файла? Это звучит дорого.

Да, это концептуально единственный способ.

Вам следует подумать о том, чтобы использовать что-то еще, что обычный текстовый файл: посмотрите на SQLite или GDBM (они могут быть очень эффективными в вашем случае использования). См. Также this answer. Оба предоставляют вам более высокую абстракцию, чем файлы POSIX, поэтому дайте вам возможность «вставлять» данные (конечно, они по-прежнему внутренне основаны на POSIX-файлах и используют их).