Обнаружение реального объекта с помощью камеры. Возможности поиска реальных объектов с помощью камеры

Question

Я разрабатываю проект в робототехнике с использованием камеры для Android. Робот может перемещать и очищать поверхность, если какие-либо объекты находятся на пути. Я застреваю в обнаружении объектов на пути, я не использую никаких датчиков, чтобы найти расстояние между камерой и объектами. Я использую только камеру для поиска объектов в пути. Я не хочу определять форму, тип, цвет объекта на пути. мелкие объекты в пути могут быть проигнорированы, такие как песок, трава и т.д. Там не должно быть никаких больших объектов в пути (в отмеченной части рисунке ниже)

В то время обнаружения объектов с помощью камеры картины , тени, определяются как объекты. Из приведенного выше рисунка музыкальный символ определяется как объект. Есть ли какая-либо платная библиотека с открытым исходным кодом для обнаружения реального объекта с помощью камеры (это будет более полезно, если оно будет использоваться на Java или C++). Я пробовал opencv, javacv, jhlabs, jjil, aviary sdk, jiu, imagemagic и т. Д. Но нет, где я могу найти точное решение для моей потребности. Если кто-нибудь, кто работает с этой обработкой изображений, предложите мне, что я могу сделать при обнаружении реальных объектов с помощью камеры Android. Если это невозможно, объясните, почему это невозможно.

Возможности я попробовал:

1. алгоритм распознавание лиц (функция обнаружение): - алгоритм обнаружения лица на основе сопоставления шаблона. Это не применимо в этом случае. т.е. здесь объект может быть любым или в любой форме. Нет шаблона для сопоставления.

2. Распознавание объектов: Распознавание объектов также делает то же самое, что и с patten. Я не хотел распознавать объект, просто хотел узнать, что это объект в отмеченной части изображения, и это реальный объект (т. Е. Не любые половые картины, тени и т. Д.).

3. Обнаружение кромок: Я пробовал разные алгоритмы обнаружения кромок, но это также неточное решение для меня. т. е. картины и тени с краями, поэтому мы не можем предположить, что найденные нами ребра являются реальными объектами.

Answer 1

Если кто работает с этой обработкой изображения, пожалуйста, предложите мне, что я могу сделать в режиме реального обнаружения объекта с помощью андроида камеры. Если это невозможно, объясните, почему это невозможно.

В режиме реального времени обнаружение объектов на лету является предметом интенсивных исследований.

Прямо сейчас, наши существующие алгоритмы имеют только способное соответствие шаблонов и поиск предварительно определенных изображений в рамке камеры.

Проблема с обнаружением реального мира заключается в том, что реальный мир тоже ... реальный. У вас есть много вариантов любого объекта или предмета, и невозможно, чтобы одна библиотека обеспечивала их обнаружение. Обнаружение реального мира является правдоподобным только благодаря обширному сбору данных и обучению посредством обучения машинам, что требует большей обработки и мощности батареи, чем может обеспечить большинство мобильных устройств.

Answer 2

Много сделал для анализа изображений в видеонаблюдении. Сначала вам нужно определить, какой уровень успеха вам нужен. Если вы пробуете все это на одном изображении, вы, вероятно, знаете, что это не сработает :). В видеоанализе вы можете найти некоторые хорошие алгоритмы обнаружения движения, которые будут давать вам все движущиеся объекты на каком-то фоне.У вас более сложный случай, когда вы двигаетесь. Вам как-то нужно смоделировать этот фон. Если вы хотите, чтобы ваш робот переместился на какой-нибудь яркий фон, например, как рисовать, как вы узнаете, что такое объект без восприятия глубины. Может быть, попробовать что-то с тенями, но нет. И в конце концов, эти алгоритмы настолько интенсивны, тем лучше результат, который вам нужен. Android не предназначен для этого. Вы можете сделать простую обработку, но вы хотите, чтобы она была намного больше, чем это возможно в настоящее время.

Нижняя линия заключается в том, что вам нужно дополнительно настроить свои потребности/ресурсы.

PS. Если вам удастся это сделать в конце концов, как вы впервые сказали, мы увидим вас на какой-нибудь яхте с великолепными моделями

Надеюсь, это поможет вам и вам понравится.

Answer 3

Я думаю, вы должны использовать более одной камеры ..... дает двухмерное представление на изображение ..... надеюсь, что это поможет ....

Answer 4

Вы можете ознакомиться с методами называемой структурой из движения. Если у вас есть серия изображений с одной камеры, сделанных через короткие промежутки времени, вы можете получить некоторую 3D-информацию о сцене на снимках. К несчастью, я не знаю ни одной библиотеки, которая сделала бы это для вас из коробки, но это довольно популярная проблема, поэтому некоторые поиски могут дать вам готовое решение.

Answer 5

Если камера параллельна земле, а земля обычно плоская, вы можете оценить расстояние между объектами, учитывая его положение на видеокадре. Hogher расстояние объекта, больше к верхней части изображения это будет. Фактически вы можете оценить значение в метрах с некоторым шумом, как мы, люди.

Я думаю, что ваша проблема распознавания «реальных объектов» может быть переведена на: «Найти не плоские (на землю) визуальные элементы, другими словами, найти объекты с некоторой высотой».

Вы считаете стереовизорный подход? Используя две камеры, вы можете справиться с трехмерными проблемами более правильно.