ли следующие чтения из набора без загрузки всего вещь сразу в память [все это не будет вписываться в памяти] и получить размер набора данных без загрузки данных с помощью h5py в python? если нет, то как?чтение из большого файла без загрузки целиком в память с помощью h5py
h5 = h5py.File('myfile.h5', 'r')
mydata = h5.get('matirx') # are all data loaded into memory by using h5.get?
part_of_mydata= mydata[1000:11000,:]
size_data = mydata.shape
Спасибо.
get (или индексирование) извлекает ссылку на набор данных в файле, но не загружает данные.
In [789]: list(f.keys())
Out[789]: ['dset', 'dset1', 'vset']
In [790]: d=f['dset1']
In [791]: d
Out[791]: <HDF5 dataset "dset1": shape (2, 3, 10), type "<f8">
In [792]: d.shape # shape of dataset
Out[792]: (2, 3, 10)
In [793]: arr=d[:,:,:5] # indexing the set fetches part of the data
In [794]: arr.shape
Out[794]: (2, 3, 5)
In [795]: type(d)
Out[795]: h5py._hl.dataset.Dataset
In [796]: type(arr)
Out[796]: numpy.ndarray
d набора данных является массив, как, но на самом деле не numpy массив.
Fetch весь Dataset с:
In [798]: arr = d[:]
In [799]: type(arr)
Out[799]: numpy.ndarray
как именно из файла он должен читать выборки yourslice зависит от нарезки, структуры данных, комков, и другие вещи, которые, как правило, не находятся под вашим контролем , и не должен беспокоить вас.
Обратите внимание, что при чтении одного набора данных я не загружаю другие. То же самое относится к группам.
http://docs.h5py.org/en/latest/high/dataset.html#reading-writing-data