Kinect: Преобразование из координат RGB в координаты глубины

Question

Я использую SDK Windows Kinect для получения глубины и изображений RGB с датчика.

Поскольку изображение глубины и изображения RGB не выравниваются, я хотел бы найти способ преобразования координат изображения RGB в изображение изображения глубины, так как я хочу использовать маску изображения на изображении глубины Я получил некоторую обработку изображения RGB.

Существует уже способ преобразования глубины в координаты цветового пространства:

NuiImageGetColorPixelCoordinatesFromDepthPixel 

, к сожалению, обратное не существует. Существует только тайный звонок в INUICoordinateMapper:

HRESULT MapColorFrameToDepthFrame(
    NUI_IMAGE_RESOLUTION eColorResolution, 
    NUI_IMAGE_RESOLUTION eDepthResolution, 
    DWORD cDepthPixels, 
    NUI_DEPTH_IMAGE_PIXEL *pDepthPixels, 
    DWORD cDepthPoints, 
    NUI_DEPTH_IMAGE_POINT *pDepthPoints 
) 

Как работает этот метод не очень хорошо документирован. Кто-нибудь использовал его раньше?

Я нахожусь на грани ручной калибровки самостоятельно, чтобы вычислить матрицу преобразования, поэтому я был бы очень рад за решение.

Answer 1

Спасибо комментатору horristic, я получил ссылку на msdn с полезной информацией (спасибо также T. Chen за msdn за помощь в API). Извлеченный от должности Т. Чена, вот код, который будет выполнять отображение из RGB глубины пространства координат:

INuiCoordinateMapper* pMapper; 

mNuiSensor->NuiGetCoordinateMapper(&pMapper); 

pMapper->MapColorFrameToDepthFrame(
     NUI_IMAGE_TYPE_COLOR, 
     NUI_IMAGE_RESOLUTION_640x480, 
     NUI_IMAGE_RESOLUTION_640x480, 
     640 * 480, 
     (NUI_DEPTH_IMAGE_PIXEL*)LockedRect.pBits, 
     640 * 480, 
     depthPoints); 

Примечание: необходим датчик для инициализации и глубина кадра заблокирована для этой работы.

трансформированные координаты могут, например, быть запрошено следующим образом:

/// transform RGB coordinate point to a depth coordinate point 
cv::Point TransformRGBtoDepthCoords(cv::Point rgb_coords, NUI_DEPTH_IMAGE_POINT * depthPoints) 
{ 
    long index = rgb_coords.y * 640 + rgb_coords.x; 
    NUI_DEPTH_IMAGE_POINT depthPointAtIndex = depthPoints[index]; 
    return cv::Point(depthPointAtIndex.x, depthPointAtIndex.y); 
} 

Answer 2

Насколько я могу судить, MapColorFrameToDepthFrame эффективно управляет преобразованием системы координат на каждый пиксель вашего изображения RGB, сохраняя координаты изображения глубины в результате преобразования и результирующего значения глубины в массиве вывода NUI_DEPTH_IMAGE_POINT. Определение этой структуры находится здесь: http://msdn.microsoft.com/en-us/library/nuiimagecamera.nui_depth_image_point.aspx

Возможно, это излишне для ваших нужд, но я не знаю, насколько быстро этот метод. Разработчики XBOX Kinect имеют очень быструю реализацию этой функции, которая работает на графическом процессоре с частотой кадров, разработчикам Windows, возможно, не очень повезло!