Представление данных изображения для распознавания

Question

Итак, я работаю над проектом для школы, и то, что мы пытаемся сделать, - научить нейронную сеть распознавать здания из нестроек. Проблема, с которой я сейчас сталкиваюсь, представляет данные в форме, которые будут «читаемыми» функцией классификатора.

Данные обучения - это куча изображений + .wkt с координатами зданий на картинке. До сих пор нам удалось перемасштабировать полигоны, но любопытство застряло там.

Можете ли вы дать какие-либо намеки или идеи о том, как привести все это в соответствующую форму?

Редактировать: Мне не нужен код, написанный для меня, ссылка на статью на аналогичную тему или книгу - это больше вещей, которые я ищу.

Answer 1

Вы не указали, какие рамки вы используете, но я дам ответ для кофе.

Ваша проблема очень близка к обнаружению объектов внутри изображения. У вас есть полные изображения с ограничительными рамками объекта (здание в вашем случае).

Самый простой способ сделать это - через слой данных python, который считывает изображение и файл с сохраненными координатами для этого изображения и передает его в вашу сеть. Учебник о том, как его использовать, можно найти здесь: https://github.com/NVIDIA/DIGITS/tree/master/examples/python-layer Чтобы ускорить процесс, вы можете захотеть сохранить изображение, координировать пары в своей пользовательской базе данных lmdb.

Наконец хороший рабочий пример с полной реализацией Caffe можно найти в Faster-RCNN библиотеки здесь: https://github.com/rbgirshick/caffe-fast-rcnn/ Вы должны проверить roi_pooling_layer.cpp в их таможенной Caffe отрасли и roi_data_layer о том, как данные подаются в сеть.