2016-10-20 3 views
2

Я хочу реализовать бумагу, которую я нашел в расчете на 5 мс ORB-функции на ARM-коре a8, используя библиотеку arm neon. Но я боюсь уже с обнаружением функции FAST. Итак, в бумаге, которую я пытаюсь осуществить, вы найдете here. Итак, в первую очередь, я не уверен в ограничении Bright and Dark. Поэтому в моем понимании вам нужно проверить FAST, если на центральном пикселе есть 9 темных или 9 ярких пикселей. Поэтому я проверяю оба. Но теперь у меня есть проблема, что моя реализация занимает в среднем уже в 3 раза дольше без окончательных операций сдвига, чтобы вычислить, является ли это угол, а затем средним вычислением из opencv для всего прогресса. Итак, вот мой код, возможно, кто-то может указать мне на некоторые оптимизации, которые я мог бы сделать с этим.Оптимизированный расчет FAST для ARM

 //detect with opncv 
     Clock::time_point t0 = Clock::now(); 
     detectors[y]->detect(img, ocv_kps); 
     Clock::time_point t1 = Clock::now(); 

     vector<Point2f> my_kps; 
     //threshhold for FAST 
     const uchar th = 8; 

     int b_cnt = 0; 
     int d_cnt = 0; 
     //array with four possible corners to be processed in parallel 
     uint32_t id_arr[4]; 
     uint32_t ib_arr[4]; 

     Clock::time_point t01 = Clock::now(); 
     for (int i = 3; i < img.rows - 3; i++) { 
      //get pointer to seven Image rows three above and three below center and center itself 
      const uchar* Mt3 = img.ptr<uchar>(i - 3); 
      const uchar* Mt2 = img.ptr<uchar>(i - 2); 
      const uchar* Mt1 = img.ptr<uchar>(i - 1); 
      const uchar* Mc = img.ptr<uchar>(i); 
      const uchar* Mb1 = img.ptr<uchar>(i + 1); 
      const uchar* Mb2 = img.ptr<uchar>(i + 2); 
      const uchar* Mb3 = img.ptr<uchar>(i + 3); 
      for (int j = 3; j < img.cols - 3; j++) { 
       const uchar j3 = j + 3; 
       const uchar j2 = j + 2; 
       const uchar j1 = j + 1; 
       const uchar jn3 = j - 3; 
       const uchar jn2 = j - 2; 
       const uchar jn1 = j - 1; 

       //image values for center left right top and bottom intensity of pixel 
       const uchar c = Mc[j]; 
       const uchar l = Mc[jn3]; 
       const uchar r = Mc[j3]; 
       const uchar t = Mt3[j]; 
       const uchar b = Mb3[j]; 

       //threshold for bright FAST constraint 
       const uchar thb = c + th; 

       //bools for bright constraint 
       const bool cbt = t > thb; 
       const bool cbb = b > thb; 
       const bool cbl = l > thb; 
       const bool cbr = r > thb; 

       uchar mt3; 
       uchar mt3n; 
       uchar mt2; 
       uchar mt2n; 
       uchar mt1; 
       uchar mt1n; 
       uchar mb3; 
       uchar mb3n; 
       uchar mb2; 
       uchar mb2n; 
       uchar mb1; 
       uchar mb1n; 
       bool bc = false; 
       //pre test do we have at least two points which fulfill bright constraint 
       if ((cbl && cbt) || (cbt && cbr) || (cbr && cbb) 
         || (cbb && cbl)) { 
        bc = true; 
        //get rest of image intensity values of circle 
        mt3 = Mt3[j1]; 
        mt3n = Mt3[jn1]; 
        mt2 = Mt2[j2]; 
        mt2n = Mt2[jn2]; 
        mt1 = Mt1[j3]; 
        mt1n = Mt1[jn3]; 
        mb3 = Mb3[j1]; 
        mb3n = Mb3[jn1]; 
        mb2 = Mb2[j2]; 
        mb2n = Mb2[jn2]; 
        mb1 = Mb1[j3]; 
        mb1n = Mb1[jn3]; 

        //values for bright constrain 
        ib_arr[b_cnt] = cbt | ((mt3) > thb) << 1 
          | ((mt2) > thb) << 2 | ((mt1) > thb) << 3 
          | (cbr << 4) | ((mb1) > thb) << 5 
          | ((mb2) > thb) << 6 | ((mb3) > thb) << 7 
          | cbb << 8 | ((mb3n) > thb) << 9 
          | ((mb2n) > thb) << 10 | ((mb1n) > thb) << 11 
          | (cbl) << 12 | ((mt1n) > thb) << 13 
          | ((mt2n) > thb) << 14 | ((mt3n) > thb) << 15 
          | (cbt) << 16 | ((mt3) > thb) << 17 
          | ((mt2) > thb) << 18 | ((mt1) > thb) << 19 
          | (cbr) << 20 | ((mb1) > thb) << 21 
          | ((mb2) > thb) << 22 | ((mb3) > thb) << 23; 
        b_cnt++; 
        //if we have four possible corners in array check if they are corners 
        if (b_cnt == 4) { 
         uint32x2x4_t IB = vld4_u32(ib_arr); 
         /* 
         * here the actual shift operation would take place 
         */ 
         b_cnt = 0; 
        } 
       } 

       //threshold for dark constraint 
       const uchar thd = c - th; 
       //bools for dark constraint 
       const bool cdl = l < thd; 
       const bool cdr = r < thd; 
       const bool cdt = t < thd; 
       const bool cdb = b < thd; 
       //pre test do we have at least two points which fulfill dark constraint 
       if ((cdl && cdt) || (cdt && cdr) || (cdr && cdb) 
         || (cdb && cdl)) { 
        //if bright pre test failed intensity values are not initialised 
        if (!bc) { 
         //get rest of image intensity values of circle 
         mt3 = Mt3[j1]; 
         mt3n = Mt3[jn1]; 
         mt2 = Mt2[j2]; 
         mt2n = Mt2[jn2]; 
         mt1 = Mt1[j3]; 
         mt1n = Mt1[jn3]; 
         mb3 = Mb3[j1]; 
         mb3n = Mb3[jn1]; 
         mb2 = Mb2[j2]; 
         mb2n = Mb2[jn2]; 
         mb1 = Mb1[j3]; 
         mb1n = Mb1[jn3]; 
        } 
        //bool values for dark constrain 
        id_arr[d_cnt] = cdt | ((mt3) < thd) << 1 
          | ((mt2) < thd) << 2 | ((mt1) < thd) << 3 
          | (cdr) << 4 | ((mb1) < thd) << 5 
          | ((mb2) < thd) << 6 | ((mb3) < thd) << 7 
          | (cdb) << 8 | ((mb3n) < thd) << 9 
          | ((mb2n) < thd) << 10 | ((mb1n) < thd) << 11 
          | (cdl) << 12 | ((mt1n) < thd) << 13 
          | ((mt2n) < thd) << 14 | ((mt3n) < thd) << 15 
          | (cdt) << 16 | ((mt3) < thd) << 17 
          | ((mt2) < thd) << 18 | ((mt1) < thd) << 19 
          | (cdr) << 20 | ((mb1) < thd) << 21 
          | ((mb2) < thd) << 22 | ((mb3) < thd) << 23; 
        d_cnt++; 
        //if we have four possible corners in array check if they are corners 
        if (d_cnt == 4) { 
         uint32x2x4_t IA = vld4_u32(id_arr); 
         /* 
         * here the actual shift operation would take place 
         */ 
         d_cnt = 0; 
        } 
        int h = cdt; 

       } 
      } 
     } 
     Clock::time_point t11 = Clock::now(); 
     cout << "my algorithm found " << my_kps.size() 
       << " and ocv found " << ocv_kps.size() << endl; 

     microseconds ms1 = std::chrono::duration_cast < microseconds 
       > (t1 - t0); 
     microseconds ms2 = std::chrono::duration_cast < microseconds 
       > (t11 - t01); 

     rs.Push((double) ms2.count()); 
     cout << "my algorithm duration " << ms2.count() 
       << " and ocv duration is " << ms1.count() << endl; 

ответ

0

Итак, после того, как выкапываете бит в Ассемблере. Я придумал код, который работает как минимум в 2 раза быстрее на Arm, а затем встроенный в OpenCv вариант Fast9. Вы можете проверить код на GitHub. Я очень доволен рекомендациями по его оптимизации. На моей Raspberry Pi 3 он принимает круглые: 1000 мс для моего алгоритма для OpenCV 2000 мс

на 320x240 черно-белое изображение.

1

У меня есть экстрактор ORB, который работает на 30 кадров в секунду на малиновом пи.

https://github.com/0xfaded/pislam

Оптимизация действительно черное искусство, и в довершение ARM не выпустил руководство по оптимизации для a53. Самое лучшее, что у нас есть, - это a57, у которого, вероятно, есть аналогичная единица NEON.

Я не могу дать полный ответ здесь, но я расскажу немного о своем процессе.

Первая часть моего экстракта FAST загружает кольцо тестовых пикселей и преобразует их в 16-разрядный вектор, как и ваш код. Я не писал asm напрямую, а вместо этого использовал gcc intrinsics. Тем не менее, хотя, я убедился, что GCC:

  1. не расплескать регистры в стек
  2. излучаемых минимальное количество инструкций для каждого сравнения

Вы заметите, что первое сравнение делает не изолировать его бит с маской, которая была бы 0x80. Это освободило регистр, который в противном случае оставался бы постоянным, и он дал gcc достаточно места для маневра, чтобы не проливать регистры.

Вы также заметите некоторое довольно жуткое внутреннее использование:

d0 = vbslq_u8(vdupq_n_u8(0x40u), vcgeq_u8(test, dark), d0); 
    l0 = vbslq_u8(vdupq_n_u8(0x40u), vcleq_u8(test, light), l0); 

Это эквивалентно

d0 |= test >= dark & 0x40; 
    l0 |= test >= light & 0x40; 

ССАГПЗА будет счастливо компилировать последние, но испускает 1.5x, как много инструкций.

Во второй части появился тест FAST-9 на 16-битном векторе. Ниже компилируется 16 инструкций, но мне потребовалось почти месяц, чтобы подумать, чтобы придумать.

uint8x16_t t0 = vtstq_u8(d0, d1); 
    uint8x16_t t1 = vtstq_u8(d0, d1); 

    t0 = vbslq_u8(t0, l0, d0); 
    t1 = vbslq_u8(t1, l1, d1); 

    uint8x16_t cntLo = vclzq_u8(t0); 
    uint8x16_t testLo = t1 << (cntLo - 1); 
    asm("vceq.u8 %q0, %q0, #0" : [val] "+w" (testLo)); 

    uint8x16_t cntHi = vclzq_u8(t1); 
    uint8x16_t testHi = t0 << (cntHi - 1); 
    asm("vceq.u8 %q0, %q0, #0" : [val] "+w" (testHi)); 

    uint8x16_t result = (cntLo & testLo) | (cntHi & testHi); 
    result = vtstq_u8(result, result); 

Досадно, НКУ не компилировать testLo == 0 в vceq.u8 %q0, %q0, #0, который является специальной инструкцией для сравнения с нулевой константой. Я закончил вставлять их вручную, которые сбрили еще пару инструкций.

Надеюсь, что дает некоторое представление. Fast.h

Смежные вопросы