Распознавание образов - сложность

Question

Мне нужно решить, какой из семестровых проектов начать работать. У меня есть возможность работать с распознаванием образов в реальном времени в 3D-пространстве, но у меня нет предыдущего опыта. Я хотел бы спросить, как трудно реализовать систему распознавания образов в 3D-пространстве. Представьте себе что-то вроде рисунка №2, и программа может сказать, что это номер 2, но в 3D и в режиме реального времени. Я бы использовал Leap Motion, который предоставляет разработчикам множество данных о пальцах и положении ладони, скорости, различных векторах и т. Д., И я хотел бы записывать, а затем обнаруживать различные жесты (шаблоны) рук, такие как «большие пальцы вверх», «знак мира» »,« средний палец »и т. д. Проблема в том, что я не знаю, как сильно это может быть.

Я нахожусь на втором году своего университета - линейная алгебра, математический анализ, статистика и другая математика не должны быть проблемой. Я должен быть в состоянии программировать в C#, java, R, Prolog и Haskell.

Answer 1

Краткая история: надежное распознавание образов в 2D не является тривиальным, и попытка расширить его до 3D может быть очень сложной. Многие проблемы в этой области остаются нерешенными. В любом случае вам нужно сузить проблему столько, сколько сможете.

Вот идея: попробуйте сломать сцену в плоскость, кубики и эллипсоиды. Из этой сегментации и, возможно, используя подход «мешок слов» для установления некоторых отношений между объектами, попробуйте идентифицировать некоторые объекты: пляжный мяч, доску и т. Д.

Другая возможность - сделать наиболее надежный алгоритм, который вы можете отслеживать объект уникальной формы при различных условиях. Например, определите и подсчитайте количество бутылок кокса в комнате. (Это, вероятно, будет работать только в пределах 1 - 2 метров от датчика.) Если вы меняете освещение, переместите бутылки Coke в разные комнаты или попросите кого-нибудь ходить с бутылкой Coke в руке, вы быстро обнаружите, что это может быть сложной проблемой.

Последнее, что я проверил, датчик Leap не подходит для распознавания рисунка и формы, если ваши данные не будут просто позициями рук и пальцев. Kinect v2 предоставит вам необработанные 3D-данные, а также красивую библиотеку для отслеживания скелета, распознавания жестов и т. Д.

За несколько месяцев, чтобы выполнить такую ​​задачу, приятно подумать о крутой проблеме, которую нужно решить, но убедитесь, что промежуточные решения по пути, по крайней мере, несколько полезны. Также сделайте все возможное, чтобы заранее определить допуски, параметры, скорости распознавания и другие детали - запишите их. Это будет огромной помощью в отслеживании прогресса.