Преобразование координат объекта в координаты экрана, Android OpenGL ES

Question

Я пытаюсь создать приложение для Android с использованием OpenGL ES, но у меня возникли проблемы с обработкой сенсорного ввода.

Я создал класс CubeGLRenderer, который порождает куб. CubeGLRenderer отвечает за матрицу проекции и просмотра, а Куб отвечает за модельную матрицу. Куб движется вдоль положительной оси X, без движения в Y, ни Z.

CubeGLRenderer обновляет матричном каждый кадр, чтобы двигаться вместе с кубом, делая куб смотреть стационарно на экране:

Matrix.setLookAtM(mViewMatrix, 0, 0.0f, cubePos.y, -10.0f, 0.0f, cubePos.y, 0.0f, 0.0f, 1.0f, 0.0f); 

Матрица проецирования вычисляется всякий раз, когда изменяется размер экрана (т.е. когда изменяется ориентация устройства). Затем две матрицы перебираются и передаются в Cube.draw(), где она применяет свою модельную матрицу и отображает экран.

До сих пор так хорошо. Давайте перейдем к проблеме.

Я хочу прикоснуться к экрану и вычислить угол от центра координат экрана куба до точки экрана, к которому я коснулся.

Я думал, что просто выполнил это с помощью GLU.gluProject(), но я либо не использую его правильно, либо просто не понял его вообще.

Вот код, я использую, чтобы вычислить координаты экрана от мира куба координаты:

public boolean onTouchEvent(MotionEvent e) { 
    Vec3 cubePos = cube.getPos(); 
    float[] modelMatrix = cube.getModelMatrix(); 
    float[] modelViewMatrix = new float[16]; 
    Matrix.multiplyMM(modelViewMatrix, 0, mViewMatrix, 0, modelMatrix, 0); 
    int[] view = {0, 0, width, height}; 
    float[] screenCoordinates = new float[3]; 
    GLU.gluProject(cubePos.x, cubePos.y, cubePos.z, modelViewMatrix, 0, mProjectionMatrix, 0, view, 0, screenCoordinates, 0); 


    switch (e.getAction()) { 
     case MotionEvent.ACTION_DOWN: 
      Log.d("CUBEAPP", "screenX: " + String.valueOf(screenCoordinates[0])); 
      break; 
    } 

    return true; 
} 

Что я делаю неправильно?

Answer 1

Те же вычисления, которые вы выполняете в вершинном шейдере, который вы используете для визуализации куба, должны использоваться для перевода центра куба в пространство экрана.

Обычно вы умножаете каждую каждую вершину куба на матрицу modelViewProjection и затем отправляете ее в шейдер фрагмента. Вы должны использовать ту же самую матрицу, которую вы используете в вершинном шейдере, и умножить на нее центр куба. Однако умножение матрицы 4x4 на вершину Vec4 (x, y, z, 1) даст вам результат Vec4 (x2, y2, z2, w). Чтобы получить координаты экрана, вам нужно разделить x2 и y2 на w! После того, как вы разделите его на w, ваши координаты xy будут находиться в пределах диапазона [-1.1,1] x [-1.1].

Для получения точного пикселя вам потребуется нормализовать x2/w и y2/w в [0..1], а затем умножить его на ширину и высоту разрешения экрана.

Надеюсь, это поможет.