Картинка глубины рисунка, по-прежнему черная рамка изображения

Question

Я пытаюсь изменить значения глубины глубины карты глубины, используя описанный метод here. Чтобы подвести итог метода:

1. DOWNSIZE карта глубины до 20% от первоначального размера
2. Inpaint всех черных (неизвестные) пиксели в сокращенных изображениях
3. укрупняются к исходному размеру
4. Заменить все черные пиксели в исходное изображение с соответствующими значениями из-за повышенного изображения

Супер простой и все работает хорошо. Видео, показывающее результаты, можно найти here.

Однако, мне интересно, почему левая и верхняя граница изображения по-прежнему остаются черными, хотя их нужно разрисовывать (можно увидеть в видео). Моя первая мысль заключалась в том, что это могло бы что-то сделать с интерполяцией границы (черные пиксели вне границы изображения), но я ожидаю, что это также произойдет на других границах изображения. Моя вторая мысль заключалась в том, что это нечто специфичное для используемого метода inpainting (метод Alexandru Telea), но изменение его на метод Navier-Stokes не изменило результаты.

Может ли кто-нибудь объяснить мне, почему это происходит, и как сообщить OpenCV о том, чтобы, по возможности, также освещать эти регионы?

Заранее спасибо.

Answer 1

По просьбе @theodore в http://answers.opencv.org/question/86569/inpainting-depth-map-still-black-image-borders/?comment=86587#comment-86587 Я использовал образцы изображений, чтобы проверить поведение inpaint. Похоже, что он неправильно обрабатывает границу, поэтому можно создать границу с cv::copyMakeBorder.

Вот расширенная версия с какой-то модульного тестирования:

int main(int argc, char* argv[]) 
{ 
    cv::Mat input = cv::imread("C:/StackOverflow/Input/depthInpaint.png"); 
    cv::Mat img; 
    cv::cvtColor(input, img, CV_BGR2GRAY); 

    cv::Mat inpainted; 
    const unsigned char noDepth = 0; // change to 255, if values no depth uses max value or use the mask image 
    //cv::inpaint(img, (img == noDepth), depth, 5.0, cv::INPAINT_TELEA); // img is the 8-bit input image (depth map with blank spots) 


    double inpaintRadius = 5; 
    int makeBorder = 1; 
    cv::Mat borderimg; 
    cv::copyMakeBorder(img, borderimg, makeBorder, makeBorder, makeBorder, makeBorder, cv::BORDER_REPLICATE); 
    cv::imshow("border", borderimg); 
    cv::inpaint(borderimg, (borderimg == noDepth), inpainted, inpaintRadius, cv::INPAINT_TELEA); // img is the 8-bit input image (depth map with blank spots) 

    cv::Mat originalEmbedded = borderimg(cv::Rect(makeBorder, makeBorder, img.cols, img.rows)); 
    cv::Mat inpaintedEmbedded = inpainted(cv::Rect(makeBorder, makeBorder, img.cols, img.rows)); 


    cv::Mat diffImage; 
    cv::absdiff(img, originalEmbedded, diffImage); 
    cv::imshow("embedding correct?", diffImage > 0); 

    cv::Mat mask = img == noDepth; 
    cv::imshow("mask", mask); 


    cv::imshow("input", input); 
    cv::imshow("inpainted", inpainted); 
    cv::imshow("inpainted from border", inpaintedEmbedded); 
    cv::waitKey(0); 
    return 0; 
} 

Вот сокращенный вариант, если вы считаете, что это правильно:

int main(int argc, char* argv[]) 
{ 
    cv::Mat input = cv::imread("C:/StackOverflow/Input/depthInpaint.png"); 
    cv::Mat img; 
    cv::cvtColor(input, img, CV_BGR2GRAY); 

    cv::Mat inpainted; 
    const unsigned char noDepth = 0; // change to 255, if values no depth uses max value or use the mask image 
    //cv::inpaint(img, (img == noDepth), depth, 5.0, cv::INPAINT_TELEA); // img is the 8-bit input image (depth map with blank spots) 

    double inpaintRadius = 5; 
    int makeBorderSize = 1; 
    cv::Mat borderimg; 
    //cv::copyMakeBorder(img, borderimg, borderSize, borderSize, borderSize, borderSize, cv::BORDER_REPLICATE); 
    cv::copyMakeBorder(img, borderimg, makeBorderSize, makeBorderSize, makeBorderSize, makeBorderSize, cv::BORDER_REPLICATE); 
    //cv::imshow("border", borderimg); 
    cv::inpaint(borderimg, (borderimg == noDepth), inpainted, inpaintRadius, cv::INPAINT_TELEA); // img is the 8-bit input image (depth map with blank spots) 

    // extract the original area without border: 
    cv::Mat inpaintedEmbedded = inpainted(cv::Rect(makeBorderSize, makeBorderSize, img.cols, img.rows)); 



    cv::imshow("input", input); 
    cv::imshow("inpainted from border", inpaintedEmbedded); 
    cv::waitKey(0); 
    return 0; 
} 

Вот вход:

Вот вход с рамкой (borderiz е 5 визуализировать эффект лучше):

Вот результат: