numpy.savetxt() выводит очень большие файлы

Question

Я использую numpy.savetxt() для записи массива numpy в файл csv, но файл, который сгенерирован, очень большой. Например, если я создаю массив нулей:

import numpy 

test = numpy.zeros((10000,10000), dtype=numpy.float32) 
numpy.savetxt('C:/datatest.csv',test,delimiter=',') 

Я бы ожидать, что файл будет около 10000 * 10000 * 4 байт (400 MB) большой. (Это также то, что возвращает test.nbytes). Однако файл имеет размер 2,3 ГБ. Есть ли причина для большого размера файла? Я просмотрел документацию numpy, похоже, не существует способа указать тип переменной при записи в файл. Я пробовал другие типы файлов/разделителей, но получал те же результаты.

Answer 1

Размер нативного типа данных отличается от размера строкового представления типа данных.

numpy.savetxt имеет fmt аргумент, который по умолчанию '%.18e', который форматирует каждый из ваших нулей в 0.000000000000000000e+00. Это 24 символа на элемент плюс один для разделителя.

Для получения меньшего файла вы можете изменить формат (остерегайтесь потерять значимые цифры) или использовать numpy.save для сохранения в двоичном формате или numpy.savez для сохранения в виде сжатого архива.