Наложение/слияние двух (и более) изображений YUV в OpenCV

Question

Я исследовал и снял свой предыдущий вопрос (Is there a way to avoid conversion from YUV to BGR?). Я хочу наложить несколько изображений (формат YUV) на получившееся изображение большего размера (подумайте об этом как о холсте) и отправьте его через сетевую библиотеку (OPAL) вперед, не преобразовывая ее в BGR.

Вот код:

Mat tYUV; 
    Mat tClonedYUV; 
    Mat tBGR; 
    Mat tMergedFrame; 
    int tMergedFrameWidth = 1000; 
    int tMergedFrameHeight = 800; 
    int tMergedFrameHalfWidth = tMergedFrameWidth/2; 

    tYUV = Mat(tHeader->height * 1.5f, tHeader->width, CV_8UC1, OPAL_VIDEO_FRAME_DATA_PTR(tHeader)); 
    tClonedYUV = tYUV.clone(); 

    tMergedFrame = Mat(Size(tMergedFrameWidth, tMergedFrameHeight), tYUV.type(), cv::Scalar(0, 0, 0)); 
    tYUV.copyTo(tMergedFrame(cv::Rect(0, 0, tYUV.cols > tMergedFrameWidth ? tMergedFrameWidth : tYUV.cols, tYUV.rows > tMergedFrameHeight ? tMergedFrameHeight : tYUV.rows))); 
    tClonedYUV.copyTo(tMergedFrame(cv::Rect(tMergedFrameHalfWidth, 0, tYUV.cols > tMergedFrameHalfWidth ? tMergedFrameHalfWidth : tYUV.cols, tYUV.rows > tMergedFrameHeight ? tMergedFrameHeight : tYUV.rows))); 


    namedWindow("merged frame", 1); 
    imshow("merged frame", tMergedFrame); 
    waitKey(10); 

Результат выше кода выглядит следующим образом:

Я думаю, что изображение не правильно интерпретированы, поэтому картины остаться черный/белый (Y компонент), а под ними - U и V. Есть изображения, которые описывают проблему хорошо (http://en.wikipedia.org/wiki/YUV):

и: http://upload.wikimedia.org/wikipedia/en/0/0d/Yuv420.svg

Есть ли способ, чтобы эти значения, чтобы быть правильно читать? Думаю, я не должен копировать все изображения (их компоненты Y, U, V) прямо в рассчитанные позиции. Компоненты U и V должны быть ниже их и в правильном порядке, я прав?

Answer 1

Во-первых, существует несколько форматов YUV, поэтому вам нужно четко указать, какой из них вы используете.
Согласно вашему образу, ваш формат YUV составляет Y'UV420p.
Независимо от того, что гораздо проще конвертировать в работу BGR, а затем конвертировать обратно.

Если это не вариант, вам в значительной степени нужно управлять ROI самостоятельно. YUV обычно представляет собой плоский формат, в котором каналы не (полностью) мультиплексированы, а некоторые имеют разные размеры и глубину. Если вы не используете внутренние преобразования цветов, вам нужно будет знать точный формат YUV и самостоятельно управлять копированием ROI пикселей.

С изображением YUV спецификатор формата CV_8UC* не означает многого, кроме реальных требований к памяти. Он, конечно же, не указывает мультиплексирование пикселей/каналов.

Например, если вы хотите использовать только Y-компонент, то Y часто является первой плоскостью изображения, поэтому первая «половина» всего изображения может рассматриваться только как монохромное изображение 8UC1. В этом случае использование ROI легко.