IOS 10 брейки пользовательских CIFilter

Question

Я написал ChromaKey фильтр для создания фоны MPEG фильмы прозрачные, так что вы можете использовать видео файл для более длинных анимации без необходимости длительных последовательностей в формате PNG (как это обычно делается для некоторых типов анимаций iOS).

Я использую AVPlayer, AVVideoComposition и обычай CIFilter для рендеринга видео по фоновому изображению. Фоновое изображение может быть изменено динамически пользователем, взаимодействующим с приложением, .

Это было нормально, пока не вышел iOS 10, и теперь он сломан.

Что происходит сейчас, что видео играет, но не цветность манипуляция не происходит и Xcode неоднократно выкладывает следующую ошибку:

need a swizzler so that YCC420v can be written. 

Вот образ того, что CIFilter следует производить:

И вместо того, чтобы это то, что он производит (с прошивкой 10):

Вот часть моего кода, который создает EAGLContext и применяет пользовательские CIFilter:

let myEAGLContext = EAGLContext.init(API: EAGLRenderingAPI.OpenGLES2) 
    //let cicontext = CIContext.init(EAGLContext: myEAGLContext, options: [kCIContextWorkingColorSpace: NSNull()]) 
    let cicontext = CIContext.init(EAGLContext: myEAGLContext) 

    let filter = ChromaKeyFilter() 
    filter.activeColor = CIColor.init(red: 0, green:1.0, blue: 0.0) 
    filter.threshold = self.threshold 

    //most of below comes from the "WWDC15 What's New In Core Image" slides 
    let vidComp = AVVideoComposition(asset: videoAsset!, 
            applyingCIFiltersWithHandler: 
     { 
      request in 
      let input = request.sourceImage.imageByClampingToExtent() 

      filter.inputImage = input 

      let output = filter.outputImage!.imageByClampingToExtent() 
      request.finishWithImage(output, context: cicontext) 
      self.reloadInputViews() 

    }) 

    let playerItem = AVPlayerItem(asset: videoAsset!) 
    playerItem.videoComposition = vidComp 
    self.player = AVPlayer(playerItem: playerItem) 
    self.playerInitialized = true 
    let layer = AVPlayerLayer(player: player) 

    self.subviews.forEach { subview in 
     subview.removeFromSuperview() 
    } 

    layer.frame = CGRect(x: 0.0, y: 0.0, width: self.frame.size.width, height: self.frame.size.height) 
    self.layer.addSublayer(layer) 

А вот код для пользовательских CIFilter:

private class ChromaKeyFilter : CIFilter { 
private var kernel: CIColorKernel! 
var inputImage: CIImage? 
var activeColor = CIColor(red: 0.0, green: 1.0, blue: 0.0) 
var threshold: Float = 0.05 

override init() { 
    super.init() 
    kernel = createKernel() 
} 

required init(coder aDecoder: NSCoder) { 
    super.init(coder: aDecoder)! 
    kernel = createKernel() 
} 

override var outputImage: CIImage? { 
    if let inputImage = inputImage { 
     let dod = inputImage.extent 
     let args = [inputImage as AnyObject, activeColor as AnyObject, threshold as AnyObject] 
     return kernel.applyWithExtent(dod, arguments: args) 
    } 
    return nil 
} 

private func createKernel() -> CIColorKernel { 
    let kernelString = 
     "kernel vec4 chromaKey(__sample s, __color c, float threshold) { \n" + 
      //below kernel was adapted from the GPUImage custom chromakeyfilter: 
      //https://github.com/BradLarson/GPUImage/blob/master/framework/Source/GPUImageChromaKeyFilter.m#L30 
      " float maskY = 0.2989 * c.r + 0.5866 * c.g + 0.1145 * c.b;\n" + 
      " float maskCr = 0.7132 * (c.r - maskY);\n" + 
      " float maskCb = 0.5647 * (c.b - maskY);\n" + 
      " float Y = 0.2989 * s.rgb.r + 0.5866 * s.rgb.g + 0.1145 * s.rgb.b;\n" + 
      " float Cr = 0.7132 * (s.rgb.r - Y);\n" + 
      " float Cb = 0.5647 * (s.rgba.b - Y);\n" + 
      " float blendValue = smoothstep(threshold, threshold + 0.5, distance(vec2(Cr, Cb), vec2(maskCr, maskCb)));\n" + 
      " return blendValue * vec4(s.rgb, 1.0); \n" + 
    "}" 
    let kernel = CIColorKernel(string: kernelString) 
    return kernel! 
} 

}

Кто угодно есть некоторые идеи о том, почему это только сейчас ломается? Интересно, что это только сломано по телефону. Он по-прежнему работает на симуляторе, хотя и намного медленнее, чем раньше iOS 10 вышел.

Answer 1

Похоже, что какая-то часть (слой игрока?) Конвейера iOS10 (устройства) переключилась на YUV.

Настройка ваших AVPlayerLayer «ы pixelBufferAttributes к BGRA фиксирует отсутствие альфа и заглушает регистрируется ошибка:

layer.pixelBufferAttributes = [kCVPixelBufferPixelFormatTypeKey as String: NSNumber(value: kCVPixelFormatType_32BGRA)]