Cython parallel prange - местность резьбы?

Question

Я перебор с помощью Прейнджа по списку, как это:

from cython.parallel import prange, threadid 

cdef int tid 
cdef CythonElement tEl 
cdef int a, b, c 

# elList: python list of CythonElement instances is passed via function call 
for n in prange(nElements, schedule='dynamic', nogil=True): 
    with gil: 
     tEl = elList[n] 
     tid = threadid() 
     a = tEl.a 
     b = tEl.b 
     c = tEl.c 

     print("thread {:} elnumber {:}".format(tid, tEl.elNumber)) 

    #nothing is done here 

    with gil: 
     print("thread {:} elnumber {:}".format(tid, tEl.elNumber)) 

    # some other computations based on a, b and c here ... 

я ожидаю выход, как это:

thread 0 elnumber 1 
thread 1 elnumber 2 
thread 2 elnumber 3 
thread 3 elnumber 4 
thread 0 elnumber 1 
thread 1 elnumber 2 
thread 2 elnumber 3 
thread 3 elnumber 4 

Но я получаю:

thread 1 elnumber 1 
thread 0 elnumber 3 
thread 3 elnumber 2 
thread 2 elnumber 4 
thread 3 elnumber 4 
thread 1 elnumber 2 
thread 0 elnumber 4 
thread 2 elnumber 4 

Итак, как-то нить Локальная переменная tE1 будет перезаписана в потоках? Что я делаю не так ? Спасибо!

Answer 1

Похоже, Cython намеренно исключает любые переменные Python (включая Cython cdef class es) из списка локальных переменных потока. Code

Я подозреваю, что это преднамеренно, чтобы избежать проблем с подсчетом ссылок - им нужно было бы сбросить количество ссылок на все локальные переменные потока в конце цикла (это не было бы непреодолимой проблемой, но могло бы быть большим изменением). Поэтому я думаю, что это вряд ли будет исправлено, но может оказаться полезным обновление документации.

Решение заключается в refactorise вашего тела цикла в функцию, где каждый переменные заканчивается эффективно «локальным» в функцию, так что это не проблема:

cdef f(CythonElement tEl): 
    cdef int tid 
    with nogil: 
     tid = threadid() 
     with gil: 
      print("thread {:} elnumber {:}".format(tid, tEl.elNumber)) 

     with gil: 
      print("thread {:} elnumber {:}".format(tid, tEl.elNumber)) 

    # I've trimmed the function a bit for the sake of being testable 

# then for the loop: 
for n in prange(nElements, schedule='dynamic', nogil=True): 
    with gil: 
     f() 

Answer 2

Cython обеспечивает параллельность на основе потоков. Порядок, в котором выполняются потоки, не гарантируется, следовательно, неупорядоченные значения для thread.

Если вы хотите, чтобы tEl был закрыт для обсуждения, вы не должны определять его глобально. Попробуйте переместить cdef CythonElement tEl в пределах prange. см. http://cython-devel.python.narkive.com/atEB3yrQ/openmp-thread-private-variable-not-recognized-bug-report-discussion (часть о частных переменных).