Устранение неполадок с изображениями RGB с использованием Kinect 1.0 SDK

Question

Я пытаюсь получить пиксели камеры глубины Kinect для наложения на камеру RGB. Я использую C++ Kinect 1.0 SDK с Xbox Kinect, OpenCV и пытаюсь использовать новый метод NuiImageGetColorPixelCoordinateFrameFromDepthPixelFrameAtResolution.

Я наблюдал, как изображение отображается в замедленном режиме и выглядит так, как если бы пиксели рисовались несколько раз в одном кадре. Сначала он рисует верхнюю и левую границы, затем доходит до точки (вы можете видеть угол 45 градусов), где он начинает рисовать странно.

Я пытался скомпоновать свой код с кода C#, написанного Адамом Смитом, на MSDN forums, но не на кости. Я удалил материал наложения и просто хочу нарисовать глубину с нормализованной глубиной, где «должно» быть в изображении RGB.

Изображение слева - это то, что я получаю, когда пытаюсь поместить изображение глубины в пространство RGB, а изображение справа - это «необработанное» изображение глубины, как мне нравится его видеть. Я надеялся, что мой метод создаст аналогичное изображение с изображением справа с небольшими искажениями.

Это код и определения объектов, которые я имею на данный момент:

// From initialization 
INuiSensor *m_pNuiInstance; 
NUI_IMAGE_RESOLUTION m_nuiResolution = NUI_IMAGE_RESOLUTION_640x480; 
HANDLE m_pDepthStreamHandle; 
IplImage *m_pIplDepthFrame; 
IplImage *m_pIplFittedDepthFrame; 


m_pIplDepthFrame = cvCreateImage(cvSize(640, 480), 8, 1); 
m_pIplFittedDepthFrame = cvCreateImage(cvSize(640, 480), 8, 1); 

// Method 
IplImage *Kinect::GetRGBFittedDepthFrame() { 
    static long *pMappedBits = NULL; 

    if (!pMappedBits) { 
     pMappedBits = new long[640*480*2]; 
    } 

    NUI_IMAGE_FRAME pNuiFrame; 
    NUI_LOCKED_RECT lockedRect; 
    HRESULT hr = m_pNuiInstance->NuiImageStreamGetNextFrame(m_pDepthStreamHandle, 0, &pNuiFrame); 

    if (FAILED(hr)) { 
     // return the older frame 
     return m_pIplFittedDepthFrame; 
    } 

    bool hasPlayerData = HasSkeletalEngine(m_pNuiInstance); 

    INuiFrameTexture *pTexture = pNuiFrame.pFrameTexture; 
    pTexture->LockRect(0, &lockedRect, NULL, 0); 

    if (lockedRect.Pitch != 0) { 
     cvZero(m_pIplFittedDepthFrame); 

     hr = m_pNuiInstance->NuiImageGetColorPixelCoordinateFrameFromDepthPixelFrameAtResolution(
      m_nuiResolution, 
      NUI_IMAGE_RESOLUTION_640x480, 
      640 * 480, /* size is previous */ (unsigned short*) lockedRect.pBits, 
      (640 * 480) * 2, /* size is previous */ pMappedBits); 

     if (FAILED(hr)) { 
      return m_pIplFittedDepthFrame; 
     } 

    for (int i = 0; i < lockedRect.size; i++) { 
      unsigned char* pBuf = (unsigned char*) lockedRect.pBits + i; 
      unsigned short* pBufS = (unsigned short*) pBuf; 
      unsigned short depth = hasPlayerData ? ((*pBufS) & 0xfff8) >> 3 : ((*pBufS) & 0xffff); 
      unsigned char intensity = depth > 0 ? 255 - (unsigned char) (256 * depth/0x0fff) : 0; 

      long 
       x = pMappedBits[i], // tried with *(pMappedBits + (i * 2)), 
       y = pMappedBits[i + 1]; // tried with *(pMappedBits + (i * 2) + 1); 

      if (x >= 0 && x < m_pIplFittedDepthFrame->width && y >= 0 && y < m_pIplFittedDepthFrame->height) { 
       m_pIplFittedDepthFrame->imageData[x + y * m_pIplFittedDepthFrame->widthStep] = intensity; 
      } 

     } 
    } 

    pTexture->UnlockRect(0); 
    m_pNuiInstance->NuiImageStreamReleaseFrame(m_pDepthStreamHandle, &pNuiFrame); 

    return(m_pIplFittedDepthFrame); 
} 

Благодарности

Answer 1

Я обнаружил, что проблема заключалась в том, что цикл,

for (int i = 0; i < lockedRect.size; i++) { 
    // code 
} 

выполнял итерацию по каждому байту, а не по одной - сокращение (2 байта). Поскольку lockedRect.size возвращает число байтов, исправление было просто изменяющих приращение к I + = 2, еще лучше было бы изменить его на SizeOf (короткий), как это так,

for (int i = 0; i < lockedRect.size; i += sizeof(short)) { 
    // code 
}