OpenCV: обнаружение и отслеживание объектов на основе обнаружения объектов

Question

Я только что отважился на компьютерное зрение и попытался демистифицировать различные тонкости этого. Я пытаюсь увеличить фильтр калмана с помощью функции обнаружения прибоя. Но я не понимаю, как вызвать и использовать метод kalman после того, как гомография и ограниченный прямоугольник были построены на обнаруженном кадре с использованием функций серфинга. Я обнаружил функции и извлек ключевые точки с помощью эталонного изображения после сравнения с входящими кадрами. Затем я использовал совпадение фланов.

Теперь, возможно использовать фильтр kalman, так как я хочу отслеживать движение и получать предсказанное движение. Я много искал, но не нашел, что функции серфинга можно использовать с фильтром kalman. Все, что я получаю, - это предложения по использованию cvBlobs для отслеживания. Но, теоретически, фильтры кальмана используются для отслеживания. Тем не менее, я запутался, так как несколько реализаций отслеживания на основе видео с использованием серфинга показывают, что серфинг может использоваться для отслеживания сам по себе. Но мой вопрос

• Если фильтр Калмана не может быть использован с прибой, то как я могу реализовать моменты, чтобы получить измеренные значения координат, как мне нужна информация для предсказания движения.

• можно использовать серфинг с фильтром kalman для отслеживания, и если да, то как реализовать его после обнаружения и ограничения объекта с помощью прямоугольника, используя следующий код.

  Пример: объект для отслеживания . Некоторые кадры

  /* Объект обнаружения и распознавания из видео */

  INT Основной() { Мат объект = imread ("book1.png", CV_LOAD_IMAGE_GRAYSCALE);

  if(!object.data) 
  { 
      std::cout<< "Error reading object " << std::endl; 
      return -1; 
  } 
  
  //Detect the keypoints using SURF Detector 
  int minHessian = 500; 
  
  SurfFeatureDetector detector(minHessian); 
  std::vector<KeyPoint> kp_object; 
  
  detector.detect(object, kp_object); 
  
  //Calculate descriptors (feature vectors) 
  SurfDescriptorExtractor extractor; 
  Mat des_object; 
  
  extractor.compute(object, kp_object, des_object); 
  
  FlannBasedMatcher matcher;   
  
  namedWindow("Good Matches"); 
  namedWindow("Tracking"); 
  
  std::vector<Point2f> obj_corners(4); 
  
  //Get the corners from the object 
  obj_corners[0] = cvPoint(0,0); 
  obj_corners[1] = cvPoint(object.cols, 0); 
  obj_corners[2] = cvPoint(object.cols, object.rows); 
  obj_corners[3] = cvPoint(0, object.rows); 
  
  char key = 'a'; 
  int framecount = 0; 
  VideoCapture cap("booksvideo.avi"); 
  
  for(; ;) 
  { 
      Mat frame; 
      cap >> frame; 
      imshow("Good Matches", frame); 
  
  
      Mat des_image, img_matches; 
      std::vector<KeyPoint> kp_image; 
      std::vector<vector<DMatch > > matches; 
      std::vector<DMatch > good_matches; 
      std::vector<Point2f> obj; 
      std::vector<Point2f> scene; 
      std::vector<Point2f> scene_corners(4); 
      Mat H; 
      Mat image; 
  
      //cvtColor(frame, image, CV_RGB2GRAY); 
  
      detector.detect(image, kp_image); 
      extractor.compute(image, kp_image, des_image); 
  
      matcher.knnMatch(des_object, des_image, matches, 2); 
  
      //THIS LOOP IS SENSITIVE TO SEGFAULTS 
      for(int i = 0; i < min(des_image.rows-1,(int) matches.size()); i++) 
      { 
       if((matches[i][0].distance < 0.6*(matches[i][4].distance)) && ((int) matches[i].size()<=2 && (int) matches[i].size()>0)) 
       { 
        good_matches.push_back(matches[i][0]); 
       } 
      } 
  
      //Draw only "good" matches 
      drawMatches(object, kp_object, image, kp_image, good_matches, img_matches, Scalar::all(-1), Scalar::all(-1), vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS); 
  
      if (good_matches.size() >= 4) 
      { 
       for(int i = 0; i < good_matches.size(); i++) 
       { 
        //Get the keypoints from the good matches 
        obj.push_back(kp_object[ good_matches[i].queryIdx ].pt); 
        scene.push_back(kp_image[ good_matches[i].trainIdx ].pt); 
       } 
  
       H = findHomography(obj, scene, CV_RANSAC); 
  
       perspectiveTransform(obj_corners, scene_corners, H); 
  
       //Draw lines between the corners (the mapped object in the scene image) 
       line(img_matches, scene_corners[0] + Point2f(object.cols, 0), scene_corners[1] + Point2f(object.cols, 0), Scalar(0, 255, 0), 4); 
       line(img_matches, scene_corners[1] + Point2f(object.cols, 0), scene_corners[2] + Point2f(object.cols, 0), Scalar(0, 255, 0), 4); 
       line(img_matches, scene_corners[2] + Point2f(object.cols, 0), scene_corners[3] + Point2f(object.cols, 0), Scalar(0, 255, 0), 4); 
       line(img_matches, scene_corners[3] + Point2f(object.cols, 0), scene_corners[0] + Point2f(object.cols, 0), Scalar(0, 255, 0), 4); 
  
      } 
  
      //Show detected matches 
      imshow("Good Matches", img_matches); 
      for(int i = 0; i < good_matches.size(); i++) 
      { 
       printf("-- Good Match [%d] Keypoint 1: %d -- Keypoint 2: %d \n", i, good_matches[i].queryIdx, good_matches[i].trainIdx); 
      } 
  
      waitKey(0); 
  

  }

  возврат 0;

  }

Answer 1

Я не видел сочетание соответствия функций и фильтрации, что вы описываете. Одна из моих идей заключалась в том, чтобы отслеживать центр масс (и размер) с помощью фильтра калмана и использовать эту информацию для маскировки внешней области перед запуском соответствия функции на следующем кадре. Я не уверен, каковы ваши ограничения, но вы можете рассмотреть возможность сопоставления шаблонов или отслеживания типа camshift, которые также могут использовать фильтр kalman для помощи при поиске.