2017-02-09 3 views
1

R-пользователи,Компиляция много вложенных циклов с использованием rcpp :: cppFunction

Я пытаюсь решить проблему комбинаторной грубую силу для того, чтобы оценить качество приближенного вычисления. Для этого я написал небольшую функцию R, которая для переменной r выводит невероятно уродливую функцию rcpp, содержащую r вложенных циклов плюс некоторые условия прерывания. Однако, когда r начинает становиться в диапазоне 20+, компиляция функции с rcpp :: cppFunction занимает невероятно долгое время для компиляции. ..

Любое объяснение, почему компиляция rcpp ломается для этого большого количества вложенных циклов? Когда я скомпилирую функцию как обычную программу на C++ с помощью g ++, она скомпилируется сразу менее чем за секунду, а также работает безупречно (используя cout вместо Rcout).

У меня, вероятно, отсутствует что-то очевидное, потому что, когда я удаляю все, кроме самого внутреннего состояния перерыва, он прекрасно компилируется с помощью rcpp. Однако, когда я также удаляю это последнее условие прерывания, он еще не закончил компиляцию ... Любые предложения?

P.S. Вот пример программы для r = 20, которую я все еще жду, чтобы закончить компиляцию. Предупреждение: оно уродливо, но автоматически генерируется.

cppFunction(' 
int make_tList_rcpp() { 
int r = 20; 
std::cout << std::endl; 
for (int t20=0; t20 <= floor(r/20); t20++) { 
    for (int t19=0; t19 <= floor(r/19); t19++) { 
    for (int t18=0; t18 <= floor(r/18); t18++) { 
    for (int t17=0; t17 <= floor(r/17); t17++) { 
    for (int t16=0; t16 <= floor(r/16); t16++) { 
     for (int t15=0; t15 <= floor(r/15); t15++) { 
     for (int t14=0; t14 <= floor(r/14); t14++) { 
     for (int t13=0; t13 <= floor(r/13); t13++) { 
     for (int t12=0; t12 <= floor(r/12); t12++) { 
      for (int t11=0; t11 <= floor(r/11); t11++) { 
      for (int t10=0; t10 <= floor(r/10); t10++) { 
      for (int t9=0; t9 <= floor(r/9); t9++) { 
      for (int t8=0; t8 <= floor(r/8); t8++) { 
       for (int t7=0; t7 <= floor(r/7); t7++) { 
       for (int t6=0; t6 <= floor(r/6); t6++) { 
       for (int t5=0; t5 <= floor(r/5); t5++) { 
       for (int t4=0; t4 <= floor(r/4); t4++) { 
        for (int t3=0; t3 <= floor(r/3); t3++) { 
        for (int t2=0; t2 <= floor(r/2); t2++) { 
        for (int t1=0; t1 <= floor(r/1); t1++) { 
        if ((1*t1+2*t2+3*t3+4*t4+5*t5+6*t6+7*t7+8*t8+9*t9+10*t10+11*t11+12*t12+13*t13+14*t14+15*t15+16*t16+17*t17+18*t18+19*t19+20*t20) == r) { 
         Rcout << t1 << "," << t2 << "," << t3 << "," << t4 << "," << t5 << "," << t6 << "," << t7 << "," << t8 << "," << t9 << "," << t10 << "," << t11 << "," << t12 << "," << t13 << "," << t14 << "," << t15 << "," << t16 << "," << t17 << "," << t18 << "," << t19 << "," << t20 << std::endl; 
        } 
        if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9+8*t8+7*t7+6*t6+5*t5+4*t4+3*t3+2*t2+1*t1) > r) { 
         break; 
        } 
        } 
        if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9+8*t8+7*t7+6*t6+5*t5+4*t4+3*t3+2*t2) > r) { 
        break; 
        } 
        } 
        if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9+8*t8+7*t7+6*t6+5*t5+4*t4+3*t3) > r) { 
        break; 
        } 
        } 
        if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9+8*t8+7*t7+6*t6+5*t5+4*t4) > r) { 
        break; 
        } 
       } 
       if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9+8*t8+7*t7+6*t6+5*t5) > r) { 
        break; 
       } 
       } 
       if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9+8*t8+7*t7+6*t6) > r) { 
       break; 
       } 
       } 
       if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9+8*t8+7*t7) > r) { 
       break; 
       } 
       } 
       if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9+8*t8) > r) { 
       break; 
       } 
      } 
      if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9) > r) { 
       break; 
      } 
      } 
      if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10) > r) { 
      break; 
      } 
      } 
      if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11) > r) { 
      break; 
      } 
      } 
      if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12) > r) { 
      break; 
      } 
     } 
     if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13) > r) { 
      break; 
     } 
     } 
     if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14) > r) { 
     break; 
     } 
     } 
     if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15) > r) { 
     break; 
     } 
     } 
     if ((20*t20+19*t19+18*t18+17*t17+16*t16) > r) { 
     break; 
     } 
    } 
    if ((20*t20+19*t19+18*t18+17*t17) > r) { 
     break; 
    } 
    } 
    if ((20*t20+19*t19+18*t18) > r) { 
    break; 
    } 
    } 
    if ((20*t20+19*t19) > r) { 
    break; 
    } 
    } 
    if ((20*t20) > r) { 
    break; 
    } 
} 
return(0); 
}') 

Как было предложено @spacedman, при использовании sourceCpp здесь будет немного больше информации для отладки. Как написано в дальнейших комментариях к предложению sourceCpp, это, кажется, работает на Linux, так, вероятно, Mac связанных с проблемой ...:

> sourceCpp(file="foobar.cpp",verbose=TRUE, rebuild=TRUE) 

Generated extern "C" functions 
-------------------------------------------------------- 


#include <Rcpp.h> 
// make_tList_rcpp 
void make_tList_rcpp(); 
RcppExport SEXP sourceCpp_1_make_tList_rcpp() { 
BEGIN_RCPP 
    Rcpp::RNGScope rcpp_rngScope_gen; 
    make_tList_rcpp(); 
    return R_NilValue; 
END_RCPP 
} 

Generated R functions 
------------------------------------------------------- 

`.sourceCpp_1_DLLInfo` <- dyn.load('/private/var/folders/bj/k_b2brs5443bmm8699v5fvxw0000gn/T/RtmpDSa3m8/sourceCpp-x86_64-apple-darwin13.4.0-0.12.9/sourcecpp_a7c1e15e92a/sourceCpp_8.so') 

make_tList_rcpp <- Rcpp:::sourceCppFunction(function() {}, TRUE, `.sourceCpp_1_DLLInfo`, 'sourceCpp_1_make_tList_rcpp') 

rm(`.sourceCpp_1_DLLInfo`) 

Building shared library 
-------------------------------------------------------- 

DIR: /private/var/folders/bj/k_b2brs5443bmm8699v5fvxw0000gn/T/RtmpDSa3m8/sourceCpp-x86_64-apple-darwin13.4.0-0.12.9/sourcecpp_a7c1e15e92a 

/Library/Frameworks/R.framework/Resources/bin/R CMD SHLIB -o 'sourceCpp_8.so' --preclean 'foobar.cpp' 
clang++ -I/Library/Frameworks/R.framework/Resources/include -DNDEBUG -I/usr/local/include -I/usr/local/include/freetype2 -I/opt/X11/include -I"/Users/hoehle/Library/R/3.3/library/Rcpp/include" -I"/Users/hoehle/Sandbox/Blog/_source" -fPIC -Wall -mtune=core2 -g -O2 -c foobar.cpp -o foobar.o 

(и это, где он висит ...)

P.S. и вот sessionInfo()

R version 3.3.2 (2016-10-31) 
Platform: x86_64-apple-darwin13.4.0 (64-bit) 
Running under: macOS Sierra 10.12.2 

locale: 
[1] en_US.UTF-8/en_US.UTF-8/en_US.UTF-8/C/en_US.UTF-8/en_US.UTF-8 

attached base packages: 
[1] stats  graphics grDevices utils  datasets methods base  

other attached packages: 
[1] Rcpp_0.12.9 

loaded via a namespace (and not attached): 
[1] compiler_3.3.2 tools_3.3.2 
+2

, возможно, лучший вложенный цикл когда-либо –

+0

Не могу воспроизвести это сам. Ваш код 'cppfunction' выше компилируется в ~ 1 секунду на моем ноутбуке. Rcpp 0.12.8 на Linux, R 3.3.1 - делает ли «verbose = TRUE, rebuild = TRUE» больше информации о том, какая часть процесса торчит? – Spacedman

+0

Петля находит все наборы, необходимые для решения проблемы рождения с неравными вероятностями - см. Http://www.stat.wisc.edu/sites/default/files/tr591.pdf – mhatsu

ответ

6

компилируется и работает на любой платформе но MacOS.

После редактирования у нас есть полезная информация об отладке. В частности, используются флаги:

clang++ -I/Library/Frameworks/R.framework/Resources/include -DNDEBUG -I/usr/local/include -I/usr/local/include/freetype2 -I/opt/X11/include -I"/Users/hoehle/Library/R/3.3/library/Rcpp/include" -I"/Users/hoehle/Sandbox/Blog/_source" -fPIC -Wall -mtune=core2 -g -O2 -c foobar.cpp -o foobar.o 

Причины проблемной компиляции вложенных for петель на MacOS связан с тем, как clang оптимизирует вложенный цикл под -O2 против -Os. В частности, существует регрессия около clang v3.0, которая непосредственно повлияла на способность оптимизировать указанные контуры. В частности, см:

https://llvm.org/bugs/show_bug.cgi?id=16196

Эта проблема выглядит, как это было зафиксировано в пределах 3,8. Недостатком является то, что вам придется вручную обновить этот компилятор, поскольку эта регрессия поставляется с версией clang на всех машинах macOS. Вы можете просто переключиться на gcc на macOS. Независимо от того, следующее сообщение должно помочь с созданием соответствующего компилятора с помощью доморощенного и ~/.R/Makevars

http://thecoatlessprofessor.com/programming/openmp-in-r-on-os-x/

Вы можете использовать sourceCpp() вместо cppFunction() как позже предназначена для более упрощенных функций. Функция sourceCpp() предназначена для более сложных случаев. Кроме того, я бы предпочел избежать указания типа возврата int.

Пример использования sourceCpp()

# In R 
sourceCpp("path_to/example_comb.cpp") 

Файл: example_comb.cpp

#include <Rcpp.h> 

// [[Rcpp::export]] 
void make_tList_rcpp() { 
    int r = 20; 
    std::cout << std::endl; 
    for (int t20=0; t20 <= floor(r/20); t20++) { 
     for (int t19=0; t19 <= floor(r/19); t19++) { 
      for (int t18=0; t18 <= floor(r/18); t18++) { 
       for (int t17=0; t17 <= floor(r/17); t17++) { 
        for (int t16=0; t16 <= floor(r/16); t16++) { 
         for (int t15=0; t15 <= floor(r/15); t15++) { 
          for (int t14=0; t14 <= floor(r/14); t14++) { 
           for (int t13=0; t13 <= floor(r/13); t13++) { 
            for (int t12=0; t12 <= floor(r/12); t12++) { 
             for (int t11=0; t11 <= floor(r/11); t11++) { 
              for (int t10=0; t10 <= floor(r/10); t10++) { 
               for (int t9=0; t9 <= floor(r/9); t9++) { 
                for (int t8=0; t8 <= floor(r/8); t8++) { 
                 for (int t7=0; t7 <= floor(r/7); t7++) { 
                  for (int t6=0; t6 <= floor(r/6); t6++) { 
                   for (int t5=0; t5 <= floor(r/5); t5++) { 
                    for (int t4=0; t4 <= floor(r/4); t4++) { 
                     for (int t3=0; t3 <= floor(r/3); t3++) { 
                      for (int t2=0; t2 <= floor(r/2); t2++) { 
                       for (int t1=0; t1 <= floor(r/1); t1++) { 
                        if ((1*t1+2*t2+3*t3+4*t4+5*t5+6*t6+7*t7+8*t8+9*t9+10*t10+11*t11+12*t12+13*t13+14*t14+15*t15+16*t16+17*t17+18*t18+19*t19+20*t20) == r) { 
                         Rcpp::Rcout << t1 << "," << t2 << "," << t3 << "," << t4 << "," << t5 << "," << t6 << "," << t7 << "," << t8 << "," << t9 << "," << t10 << "," << t11 << "," << t12 << "," << t13 << "," << t14 << "," << t15 << "," << t16 << "," << t17 << "," << t18 << "," << t19 << "," << t20 << std::endl; 
                        } 
                        if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9+8*t8+7*t7+6*t6+5*t5+4*t4+3*t3+2*t2+1*t1) > r) { 
                         break; 
                        } 
                       } 
                       if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9+8*t8+7*t7+6*t6+5*t5+4*t4+3*t3+2*t2) > r) { 
                        break; 
                       } 
                      } 
                      if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9+8*t8+7*t7+6*t6+5*t5+4*t4+3*t3) > r) { 
                       break; 
                      } 
                     } 
                     if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9+8*t8+7*t7+6*t6+5*t5+4*t4) > r) { 
                      break; 
                     } 
                    } 
                    if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9+8*t8+7*t7+6*t6+5*t5) > r) { 
                     break; 
                    } 
                   } 
                   if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9+8*t8+7*t7+6*t6) > r) { 
                    break; 
                   } 
                  } 
                  if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9+8*t8+7*t7) > r) { 
                   break; 
                  } 
                 } 
                 if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9+8*t8) > r) { 
                  break; 
                 } 
                } 
                if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10+9*t9) > r) { 
                 break; 
                } 
               } 
               if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11+10*t10) > r) { 
                break; 
               } 
              } 
              if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12+11*t11) > r) { 
               break; 
              } 
             } 
             if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13+12*t12) > r) { 
              break; 
             } 
            } 
            if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14+13*t13) > r) { 
             break; 
            } 
           } 
           if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15+14*t14) > r) { 
            break; 
           } 
          } 
          if ((20*t20+19*t19+18*t18+17*t17+16*t16+15*t15) > r) { 
           break; 
          } 
         } 
         if ((20*t20+19*t19+18*t18+17*t17+16*t16) > r) { 
          break; 
         } 
        } 
        if ((20*t20+19*t19+18*t18+17*t17) > r) { 
         break; 
        } 
       } 
       if ((20*t20+19*t19+18*t18) > r) { 
        break; 
       } 
      } 
      if ((20*t20+19*t19) > r) { 
       break; 
      } 
     } 
     if ((20*t20) > r) { 
      break; 
     } 
    } 

} 


/*** R 
# Runs automatically in R after compile 
make_tList_rcpp(42) 
*/ 

Выход функции:

https://gist.github.com/coatless/aa51267dcda82b42622fdc8e6e566ab7

+0

Мне пришлось заменить Rcout на Rcpp :: Rcout, чтобы он начал компилировать , Однако это все еще зависает в компиляции на моем компьютере (Mac). Однако, когда я попробовал это в Linux, то, похоже, это работает ... странно ... – mhatsu

+0

Похоже, это проблема с 'clang'. Вышеупомянутый скомпилированный штраф под комплектом Rtools и @Spacedman удалось скомпилировать его под Linux. Дайте мне несколько минут, чтобы подумать немного больше. – coatless

+0

Пробовал предложения в сообщении в блоге, упомянутые в ответе: Модифицируя Makevars, чтобы использовать gcc-4.9, установленный с помощью доморощенных вещей (много предупреждений, но он компилируется!) – mhatsu

Смежные вопросы