Обработка предварительного просмотра камеры на Android

Question

Я делаю линейный последователь для своего робота на Android (для изучения программирования на Java/Android), в настоящее время я столкнулся с проблемой обработки изображений: предварительный просмотр камеры возвращает формат изображения, называемый YUV, который я хотите преобразовать в порог, чтобы знать, где находится линия, как это сделать?

На данный момент мне удалось получить что-то, то есть я определенно могу читать данные с предварительного просмотра камеры и каким-то чудом даже знать, если интенсивность света выше или под определенным значением в определенной области на экран. Моя цель - нарисовать траекторию робота на оверлее над предварительным просмотром камеры, что тоже работает в некоторой степени, но проблема заключается в управлении YUV.

Как вы можете видеть не только темная область обращается в сторону, но она также повторяется 4 раза, и полученное изображение растягивается, я не могу понять, как решить эти проблемы.

Вот соответствующая часть кода:

public void surfaceCreated(SurfaceHolder arg0) { 
    // TODO Auto-generated method stub 

    // camera setup 
    mCamera = Camera.open(); 

    Camera.Parameters parameters = mCamera.getParameters(); 
    List<Camera.Size> sizes = parameters.getSupportedPreviewSizes(); 
    for(int i=0; i<sizes.size(); i++) 
    { 
     Log.i("CS", i+" - width: "+sizes.get(i).width+" height: "+sizes.get(i).height+" size: "+(sizes.get(i).width*sizes.get(i).height)); 
    } 

    // change preview size 
    final Camera.Size cs = sizes.get(8); 
    parameters.setPreviewSize(cs.width, cs.height); 

    // initialize image data array 
    imgData = new int[cs.width*cs.height]; 

    // make picture gray scale 
    parameters.setColorEffect(Camera.Parameters.EFFECT_MONO); 
    parameters.setFocusMode(Camera.Parameters.FOCUS_MODE_AUTO); 
    mCamera.setParameters(parameters); 

    // change display size 
    LayoutParams params = (LayoutParams) mSurfaceView.getLayoutParams(); 
    params.height = (int) (mSurfaceView.getWidth()*cs.height/cs.width); 
    mSurfaceView.setLayoutParams(params); 

    LayoutParams overlayParams = (LayoutParams) swOverlay.getLayoutParams(); 
    overlayParams.width = mSurfaceView.getWidth(); 
    overlayParams.height = mSurfaceView.getHeight(); 
    swOverlay.setLayoutParams(overlayParams); 

    try 
    { 
     mCamera.setPreviewDisplay(mSurfaceHolder); 
     mCamera.setDisplayOrientation(90); 
     mCamera.startPreview(); 
    } 
    catch (IOException e) 
    { 
     e.printStackTrace(); 
     mCamera.stopPreview(); 
     mCamera.release(); 
    } 

    // callback every time a new frame is available 
    mCamera.setPreviewCallback(new PreviewCallback() { 
     public void onPreviewFrame(byte[] data, Camera camera) 
     { 
      // create bitmap from camera preview 
      int pixel, pixVal, frameSize = cs.width*cs.height; 
      for(int i=0; i<frameSize; i++) 
      { 
       pixel = (0xff & ((int) data[i])) - 16; 
       if(pixel < threshold) 
       { 
        pixVal = 0; 
       } 
       else 
       { 
        pixVal = 1; 
       } 
       imgData[i] = pixVal; 
      } 

      int cp = imgData[(int) (cs.width*(0.5+(cs.height/2)))]; 

      //Log.i("CAMERA", "Center pixel RGB: "+cp); 
      debug.setText("Center pixel: "+cp); 

      // process preview image data 
      Paint paint = new Paint(); 
      paint.setColor(Color.YELLOW); 


      int start, finish, last; 
      start = finish = last = -1; 
      float x_ratio = mSurfaceView.getWidth()/cs.width; 
      float y_ratio = mSurfaceView.getHeight()/cs.height; 

      // display calculated path on overlay using canvas 
      Canvas overlayCanvas = overlayHolder.lockCanvas(); 
      overlayCanvas.drawColor(0, Mode.CLEAR); 

      // start by finding the tape from bottom of the screen  
      for(int y=cs.height; y>0; y--) 
      { 
       for(int x=0; x<cs.width; x++) 
       { 
        pixel = imgData[y*cs.height+x]; 

        if(pixel == 1 && last == 0 && start == -1) 
        { 
         start = x; 
        } 
        else if(pixel == 0 && last == 1 && finish == -1) 
        { 
         finish = x; 
         break; 
        } 
        last = pixel; 
       } 
       //overlayCanvas.drawLine(start*x_ratio, y*y_ratio, finish*x_ratio, y*y_ratio, paint); 
       //start = finish = last = -1; 
      } 
      overlayHolder.unlockCanvasAndPost(overlayCanvas); 
     } 
    }); 
} 

Этот код генерирует ошибку иногда при выходе из приложения в связи с каким-либо способом будет вызван после того, как release, который является наименее моих проблем.

---

UPDATE:

Теперь, когда проблема фиксирована ориентация (ориентация датчика CCD) Я по-прежнему сталкивается с проблемой повторения, это, вероятно, связано с моим управлением данными YUV ...

Answer 1

Управление вашей поверхностью и камерой выглядит корректно, но я бы сделал двойную проверку, что камера фактически приняла настройки размера предварительного просмотра (некоторые версии камеры отклоняются некоторые настройки молча)

Поскольку вы работаете с портретным режимом, вы должны иметь в виду, что камера не дает пердеть о ориентации на prhone - ее начало координат определяется микросхемой CCD и всегда находится в правом углу, а направление сканирования - сверху вниз и справа налево - сильно отличается от вашего холста наложения. (Но если вы находитесь в ландшафтном режиме, все правильно;)) - это certaily источник нечетного результата рисования

Ваше threshloding немного наивно и не очень полезно в реальной жизни - я бы предложил адаптивное пороговое кодирование. В нашем javaocr проекте (Pure Java, также имеет андроид демки) мы реализовали эффективный бинаризацию sauvola (см демки):

http://sourceforge.net/projects/javaocr/

Производительность бинаризацию может быть улучшена, чтобы работать только на отдельных строках изображения (патчи приветствуются)

Проблемы с УФ-частью изображения легко - по умолчанию Forman является NV21, яркость приходит первый и это просто поток байт, и вам не нужно УФ часть изображения на всех (смотрите в демо выше)