Преобразование RGBA в ARGB (glReadPixels -> AVAssetWriter)

Question

Я хочу записывать изображения, созданные с помощью OpenGL, в файл фильма с помощью AVAssetWriter. Возникает проблема, что единственный способ доступа к пикселям из фреймбуфера OpenGL - это использование glReadPixels, которое поддерживает только формат RGBA-пикселей в iOS. Но AVAssetWriter не поддерживает этот формат. Здесь я могу использовать ARGB или BGRA. Поскольку альфа-значения могут быть проигнорированы, я пришел к выводу, что самый быстрый способ конвертировать RGBA в ARGB бы дать glReadPixels буфер сдвинут на один байт:

UInt8 *buffer = malloc(width*height*4+1); 
glReadPixels(0, 0, width, height, GL_RGBA, GL_UNSIGNED_BYTE, buffer+1); 

Проблема в том, что в glReadPixels вызов приводит к аварии EXC_BAD_ACCESS. Если я не сдвигаю буфер на один байт, он отлично работает (но, очевидно, с неправильными цветами в видео-файле). В чем проблема?

Answer 1

Я пришел к выводу, что самый быстрый способ конвертировать RGBA в ARGB бы дать glReadPixels буфер сдвинут на один байт

Это, однако переложить свои значения альфа на 1 пиксель, а также , Вот еще одно предложение:

Измените изображение на текстуру (используя FBO с этой текстурой как цветное вложение). Затем делают эту текстуру на другой фреймбуфером с swizzling пиксельный шейдер:

#version ... 
uniform sampler2D image; 
uniform vec2 image_dim; 
void main() 
{ 
    // we want to address texel centers by absolute fragment coordinates, this 
    // requires a bit of work (OpenGL-ES SL doesn't provide texelFetch function). 
    gl_FragColor.rgba = 
     texture2D(image, vec2((2*gl_FragCoord.x + 1)/(2*image_dim.y), 
           (2*gl_FragCoord.y + 1)/(2*image_dim.y)) 
     ).argb; // this swizzles RGBA into ARGB order if read into a RGBA buffer 
} 

Answer 2

Вам потребуется сдвинуть байты, выполнив операцию memcpy или другую операцию копирования. Изменение указателей оставит их неровными, что может или не может быть в пределах возможностей любого базового оборудования (ширина шины DMA, гранулярность плитки и т. Д.)

Answer 3

Что произойдет, если вы добавите дополнительные 128 байт провисания на конце вашего буфера? Может быть, OpenGL пытается заполнить 4/8/16/etc байты за раз для производительности и имеет ошибку, когда буфер не выровнен или что-то еще. Это было бы не в первый раз, когда оптимизация производительности в OpenGL имела проблемы на граничном фронте :)

Answer 4

Использование buffer+1 будет означать, что данные не записываются в начале вашей памяти malloc'd, а в один байт, поэтому он будет писать в конце вашей памяти malloc'd, вызывая крушение.

Если glReadPixels iOS будут принимать только GL_RGBA, вам придется пройти и перестроить их самостоятельно, я думаю.

ОБНОВЛЕНИЕ, извините, я пропустил +1 в вашем malloc, StilesCrisis, вероятно, прав насчет причины крушения.

Answer 5

Try вызова

glPixelStorei(GL_PACK_ALIGNMENT,1) 

перед тем glReadPixels.

Из docs:

GL_PACK_ALIGNMENT

Определяет требования выравнивания для начала каждого пикселя строки в памяти. Допустимые значения: 1 (байт-выравнивание), 2 (строки, выровненные по четным байтам), 4 (выравнивание по словам) и 8 (строки начинаются с двухсловных границ).

Значение по умолчанию - 4 (см. glGet). Это часто упоминается как «нарушитель спокойствия» в различных «OpenGL pitfalls» типа lists, хотя это, как правило, больше связано с эффектами заполнения строки, чем выравнивание буфера.

Как альтернативный подход, что произойдет, если вы добавите 4 байта malloc, сделайте glReadPixels как выровненный по 4 байта, начиная с буфера + 4, а затем передайте буфер AVAssetWriter + 3 (хотя я не знаю, является ли AVAssetWriter более терпимы к вопросам выравнивания)?