Определение уровня данных HDF5 для нескольких файлов HDF5

Question

Я знаю, что Caffe не позволит вам иметь уровень данных HDF5 размером более 2 ГБ.
У меня был большой набор данных, и я разделил свой большой набор данных на 5 кусков < 2GB.
Я перечислил пять файлов в файле 'train.txt'.

Как определить его на уровне "HDF5Data" в файле прототипа сети?
Просто перечисляя все из них, как верхний, генерирует ошибку.

Любой маленький пример для этого?

Спасибо!

Приветствия

Answer 1

Вы должны иметь текст файл 'train.txt' следующего содержания

/path/to/first.h5 
/path/to/second.h5 
/path/to/third.h5 
/path/to/fourth.h5 
/path/to/fifth.h5 

Тогда, как source из "HDF5Data" слоя вы должны дать только 'train.txt':

layer { 
    type: "HDF5Data" 
    name: "data" 
    # put your "top" here, if you have several - then go ahead 
    hdf5_data_param { 
    source: "/path/to/train.txt" # only the list file goes here. 
    } 
    include { phase: TRAIN } 
} 

Как вы можете видеть, '/path/to/first.h5' не указаны явно в train.prototxt, только в train.txt.