Отслеживание функций не работает правильно на изображениях с низким разрешением

Question

Я использую SIFT для обнаружения функции и calcOpticalFlowPyrLK для отслеживания функций на изображениях. Я работаю над изображениями с низким разрешением (590x375 после обрезки), взятыми из Microsoft kinect.

// feature detection 
cv::Ptr<Feature2D> detector = cv::xfeatures2d::SIFT::create(); 
detector->detect(img_1,keypoints_1); 
KeyPoint::convert(keypoints_1, points1, vector<int>()); 

// feature tracking 
vector<float> err; 
Size winSize=Size(21,21); 
TermCriteria termcrit=TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, 0.01); 
calcOpticalFlowPyrLK(img_1, img_2, points1, points2, status, err, winSize, 1, termcrit, 0, 0.001); 

Я побежал это на consective образы установившемся сцены (только, чтобы получить представление) взяты из той же позиции камеры со скоростью 30 кадров в секунду. Для глаз изображения выглядят одинаково, но каким-то образом calcOpticalFlowPyrLK не в состоянии отслеживать одни и те же функции с одного изображения на другое. Позиция (координаты x, y) должна быть одинаковой для обнаруженной функции и отслеживаемой функции. Как-то это не так.

В соответствии с предложением AldurDisciple, я считаю, что я обнаруживаю шум как функции. Черные изображения ниже - разница между кондуктивными элементами, показывает шум. Следующими являются оригинальные изображения, а затем изображения с обнаруженными функциями.

Моя цель - использовать информацию для поиска изменений в позиции робота с течением времени.

Я использовал

GaussianBlur(currImageDepth, currImageDepth, Size(9,9), 0, 0); 

для шума, но это не помогло.

Find complete code in here

Answer 1

Я думаю, что есть два фактора, которые следует принимать во внимание:

1. Ваша сцена в основном состоит из 3-однородных областей, следовательно, БЫСТРО точки в этих регионах, вероятно, будет сгенерированных шумом в изображении. Поскольку картина шума может быть совершенно различной в двух последовательных изображениях, наилучшее совпадение для некоторых точек может находиться в совершенно другом положении на изображении.

2. Ваше изображение уже имеет довольно низкое разрешение, а 3 в списке параметров функции calcOpticalFlowPyrLK означает, что вам требуется функция для отслеживания точек с использованием пирамиды из 4 уровней. Это означает, что точки сначала будут отслежены на изображении, уменьшенном в 2 раза 3 = 16 (т. Е. Изображение ~ 36х23), затем на изображении изменяется в 2 раза 2 = 8 (т. Е. Изображение размером 73х46) и т. Д. , Исходное разрешение 36x23 слишком мало для изображения с практически без текстуры.

Чтобы решить вашу проблему, вы можете попробовать использовать только два уровня пирамиды (т.е. пройти 1 вместо 3) или даже одного уровня (т.е. пройти 0 вместо 3). Но имейте в виду, что проблема с шумом подразумевает, что в целом вы всегда будете иметь несколько ложных совпадений.

С другой стороны, точки слежения в статической сцене без движения камеры очень похожи на искусственную проблему.В реальных сценариях вам, вероятно, будет больше интересно отслеживать движение в сцене или статическую сцену с помощью движущейся камеры, и в этом случае полезно использовать несколько уровней пирамиды.