Каковы наилучшие алгоритмы реального времени для сегментации изображений и обнаружения объектов (внутренняя среда)?

Question

Я хочу сегментировать внутреннюю область и находить объекты. Затем я хочу использовать стереовидение, чтобы найти декартовское положение объектов. Конечной целью является сбор объектов на столе (и управление траекторией) роботом.

Пример объекта: стул, стол, ручка, шприц, степлер, чашка, винт, игрушка кукла, линейка, небольшая коробка, молоко, фрукты, ....

Мой первый приоритет быть в реальном масштабе времени (10 Гц).

Я использую стереоаппаратуру ZED для захвата изображений в окнах 10 бит 64 бит, MATLAB 2016b 64 бит, на ядре Intel i7-3820 (3,6 ГГц).

Выход камеры цветной 720x2560 пикселей, который представляет собой комбинацию из двух (правое и левое изображение) 720x1280.

Я предпочитаю использовать неконтролируемые алгоритмы для нахождения положения неизвестного объекта на таблице. Однако, он должен быть в режиме реального времени. Если это невозможно в реальном времени, я ухудшу свое ожидание и буду использовать контролируемые алгоритмы для поиска предопределенного объекта.

Answer 1

Я считаю, что обе проблемы, о которых вы упоминаете (Сегментация и обнаружение), по-прежнему считаются открытыми проблемами, поэтому окончательного решения не существует. Тем не менее, в последние годы многие работы были выполнены для решения обнаружения объектов и семантической сегментации с использованием превосходной производительности и высокой скорости.

Для обнаружения объекта в реальном времени я рекомендую вам проверить результаты YOLO и SSD и взглянуть также на Faster R-CNN, так как ваши требования к 10 Гц могут быть для него архивом.

В случае сегментирования объектов вы можете попробовать DCNN, который требует 8 кадров в секунду. Есть и другие, такие как DeepLab или FCN, но я не понимаю, какова скорость этих систем/архитектур.