MATLAB - Удаление элементов двоичных файлов без загрузки всего файла

Question

Это может быть глупый вопрос, но документы Google и MATLAB меня не подвели. У меня довольно большой двоичный файл (> 10 ГБ), который мне нужно открыть и удалить последние сорок миллионов байтов. Есть ли способ сделать это, не читая весь файл в памяти в кусках и распечатывая его в новый файл? Потребовалось 6 часов, чтобы сгенерировать файл, поэтому я придумываю мысль перечитать все это.

EDIT:

Файл 14,440,000,000 байт. Мне нужно отрубить его до 14 400 000 000.

Answer 1

Я нашел, что Perl намного быстрее, чем MATLAB.

Вот два примера из Perl Cookbook:

truncate(HANDLE, $length) 
    or die "Couldn't truncate: $!\n"; 

truncate("/tmp/$$.pid", $length) 
    or die "Couldn't truncate: $!\n"; 

Вы можете запустить скрипт на Perl из MATLAB с PERL функции.

Answer 2

Я не знаю, поддерживает ли MATLAB это, но см. ftruncate() and truncate().

Answer 3

Поскольку вы не хотите читать файл в MATLAB (понятно), вы имеете дело с командами системного уровня. MATLAB имеет средство для вызова системных команд с помощью «системы» команда

system

Так что теперь ваша задача сводится к нахождению команды оболочки в вашей операционной системе, которая сделает это за вас. Или вы можете написать программу, используя truncate() (unix - KennyTM) или SetEndOfFile (windows)

Answer 4

В Matlab отсутствует ftruncate(), но у вас есть доступ к полной стандартной Java-библиотеке в JVM, встроенной в Matlab, и вы можете использовать java.io.RandomAccessFile или классы Java NIO для обрезания файла.

Вот функция Matlab, которая вызывает Java, чтобы вывести последние n байтов из файла. Должна иметь минимальную стоимость ввода-вывода.

function remove_last_n_bytes_from_file(file, n) 

jFile = java.io.RandomAccessFile(file, 'rw'); 
currentLength = jFile.length(); 
wantLength = currentLength - n; 
fprintf('Truncating file %s: Resizing to %d to remove %d bytes\n', file, wantLength, n); 
jFile.setLength(wantLength); 
jFile.close(); 

Вы также можете сделать это как однострочный.

java.io.RandomAccessFile('/path/to/my/file.bin', 'rw').setLength(n);