Caffe HDF5 Pre-processing

Question

Я начинаю работу с Caffe и Deep learning, и я не могу понять, каковы требуемые шаги предварительной обработки для обучения модели с использованием Caffe по данным HDF5. В частности,

1. Требуется преобразовать изображение в диапазон [0-1]. Пример ноутбука (00-classic.ipynb) гласит, что модель работает в диапазоне [0-255], а некоторые из ссылок показывают, что она должна быть [0-1]. Как мне это решить?
2. В соответствии с документацией обычные размеры блоба для партий данных изображения - это N x канал K x высота H x ширина W. Нет конфликтов на этом
3. Обязательный шаг обмена ключами для преобразования RGB в BGR?
4. Как выполнить среднее вычисление изображения для данных HDF5? Для compute_image_mean.cpp, бэкэнд - lmdb. Это только для улучшения производительности?

Что касается использования LMDB, вопросы 1-3 по-прежнему сохраняются. Любые разъяснения по этому поводу будут высоко оценены.

Answer 1

Добро пожаловать в caffe.

1. Масштабирование входных данных в диапазоне от [0..1] или [0..255] зависит только от вас. Некоторые модели работают в диапазоне [0..1], другие в [0..255] и полностью не связаны с выбором метода ввода (LMDB/HDF5).
Самое главное, что здесь согласовано. Если вы решили работать в диапазоне [0..1], вы должны убедиться, что оба набора для обучения и валидации подготовлены таким же образом и что новые примеры во время фазы «развертывания» масштабируются до одного и того же диапазона.

2. Caffe blobs - это всегда 4-D ширина ширины канала, как вы уже заметили.

3. RGB to BGR снова не является обязательным, но очень распространенным, поскольку BGR - это способ, которым opencv читает изображения. Опять же, самое важное здесь - последовательность на протяжении всего жизненного цикла вашей сети.

4. В последнее время модели вычитают среднее значение для каждого канала, а не среднее на пиксель. Это более удобно, особенно если вы измените размер ввода вашей сети. При обработке данных HDF5 вы можете вычислить среднее изображение и сохранить его в двоичном файле. См. an example here.