Предварительный просмотр камеры и OCR

Question

Я новичок в разработке Android. Я использую Xamarin.

Я пытаюсь написать приложение, которое инициирует предварительный просмотр камеры, а затем постоянно сканирует входящие кадры для текста (я использую Xamarin.Tesseract от NuGet).

Другими словами, я не хочу, чтобы пользователь сделал фотографию, а затем выполнил анализ OCR, вместо этого я хочу, чтобы они просто указали на видеокамеру на какой-то бумаге с текстом на ней, я буду постоянно делать анализ OCR, пока я не обнаружу конкретный текст, который я ищу), в этот момент я дам большие пальцы для пользователя.

Это подход, который я пошел вниз до сих пор:

1. Initialise камеру и установить предварительного обратного вызова

    
   _Camera = Android.Hardware.Camera.Open();   
   _Camera.SetPreviewCallback(this); 
   _Camera.StartPreview();    
   

2. В Обратного, возьмите байты, представляющие текущий кадр и передать это как байты входного изображения для Xamarin.Tesseract

    
   public void OnPreviewFrame(byte[] data, Android.Hardware.Camera camera) 
   {   
   await _TesseractApi.SetImage(data); /// this hangs     
   string text = _Api.Text; 
   return text;   
   } 
   
   

В настоящее время он висит при передаче байта [] в Tesseract API. Я уверен, что это произойдет потому, что байты в массиве - это неправильная кодировка, или я принципиально не понимаю Camera api!

Может ли кто-нибудь дать мне толчок в направлении записи?

Answer 1

Рассматривая код TesseractApi.SetImage(byte[]), он вызывает BitmapFactory.DecodeByteArray(), который ожидает действительного растрового изображения.

К сожалению, предварительный просмотр камеры возвращает изображение YUV, которое BitmapFactory не поддерживает.

Вот код для преобразования изображения YUV в JPEG, который затем можно передать в Tesseract.

private byte[] ConvertYuvToJpeg(byte[] yuvData, Android.Hardware.Camera camera) 
{ 
    var cameraParameters = camera.GetParameters(); 
    var width = cameraParameters.PreviewSize.Width; 
    var height = cameraParameters.PreviewSize.Height; 
    var yuv = new YuvImage(yuvData, cameraParameters.PreviewFormat, width, height, null); 
    var ms = new MemoryStream(); 
    var quality = 80; // adjust this as needed 
    yuv.CompressToJpeg(new Rect(0, 0, width, height), quality, ms); 
    var jpegData = ms.ToArray(); 

    return jpegData; 
}