многопроцессорный пул висит и не может выйти из приложения

Question

Я уверен, что это ошибка новобранец, но я не могу понять, что я делаю неправильно с многопроцессорной обработкой. У меня есть этот код (который просто сидит вокруг и не делает)

if __name__ == '__main__': 
    pool = Pool(processes=4) 
    for i, x in enumerate(data): 
     pool.apply_async(new_awesome_function, (i, x)) 
    pool.close() 
    pool.join() 

данных является список ([1,2,3,4,5]), и я пытаюсь взять список отправки каждого предмета выполняться с несколькими процессорами, но когда я завершаю свою рабочую команду в функцию и отправляю этот код, она ничего не делает (когда я вызываю эту функцию без кода выше, она отлично работает). Поэтому я думаю, что я использую многопроцессорную обработку неправильно (хотя я взял примеры с сайтов), любые предложения?

Обновление: Я заметил, что не могу даже вырваться из него, когда он зависает с помощью control-c .., который всегда работает, чтобы выйти из моих багги программ. Я посмотрел на python2.5 multiprocessing Pool и попытался следовать советам и добавил импорт внутри своего оператора if, но не повезло

Обновление2: Извините, только что понял, ответ на этот вопрос ниже, что команда работает, но это не кажется прекратить программу или позволить мне выйти из игры.

Answer 1

Я не знаю, какую базу данных вы используете, но, скорее всего, вы не можете совместно использовать подключения к базе данных между вашими процессами.

В linux используется fork(), что делает копию всего в памяти при запуске подпроцесса.Однако такие вещи, как сокет, открытые файлы и подключение к базе данных, не будут работать должным образом, если специально не предназначены для этого.

В окне отсутствует fork(), поэтому он перезапустит ваш скрипт. В вашем случае это будет очень плохо, потому что все это снова упадет. Вы можете предотвратить это, сбросивсь в бит if __name__ == '__main__':.

Вы должны иметь возможность повторно открывать соединения с базой данных в my_awesome_function и, таким образом, иметь возможность взаимодействовать с базой данных.

По правде говоря, вы не достигнете такой скорости. На самом деле, я ожидаю, что это будет медленнее. См. Базы данных действительно очень медленные. Ваш процесс будет тратить большую часть времени на ожидание базы данных. Теперь у вас просто несколько процессов, ожидающих базы данных, и это действительно не улучшит ситуацию.

Но базы данных предназначены для хранения вещей. До тех пор, пока вы выполняете обработку, вы должны сделать это внутри своего кода перед удалением базы данных. Вы в основном используете базу данных a s set, и ваш код будет намного приятнее с использованием набора python. Если вам действительно нужно положить этот материал в базу данных, сделайте это в конце своей программы.

Answer 2

Ваш код, кажется, работает для меня:

from multiprocessing import Pool 
import time 

def new_awesome_function(a,b): 
    print(a,b, 'start') 
    time.sleep(1) 
    print(a,b, 'end') 

if __name__ == '__main__': 
    data = [1,2,3,4,5] 
    pool = Pool(processes=4) 
    for i, x in enumerate(data): 
     pool.apply_async(new_awesome_function, (i, x)) 
    pool.close() 
    pool.join() 

дал мне:

0 1 start 
1 2 start 
2 3 start 
3 4 start 
1 2 end 
0 1 end 
4 5 start 
2 3 end 
3 4 end 
4 5 end 

Что заставляет вас думать, что не работает?

---

Edit: Попробуйте запустить это и посмотрите на результат:

from multiprocessing import Pool 
import time 

def new_awesome_function(a,b): 
    print(a,b, 'start') 
    time.sleep(1) 
    print(a,b, 'end') 
    return a + b 

if __name__ == '__main__': 
    data = [1,2,3,4,5] 
    pool = Pool(processes=4) 
    results = [] 
     for i, x in enumerate(data): 
     r = pool.apply_async(new_awesome_function, (i, x)) 
     results.append((i,r)) 
    pool.close() 
    already = [] 
    while len(already) < len(data): 
     for i,r in results: 
      if r.ready() and i not in already: 
       already.append(i) 
       print(i, 'is ready!') 
    pool.join() 

Шахта:

0 1 start 
1 2 start 
2 3 start 
3 4 start 
0 1 end 
4 5 start 
1 2 end 
2 3 end 
0 is ready! 
3 4 end 
1 is ready! 
2 is ready! 
3 is ready! 
4 5 end 
4 is ready! 

Answer 3

Multiprocessing не резьб.

Вы, вероятно, делать что-то Сорта, как этот

data = {} 

def new_awesome_function(a, b): 
    data[a] = b 

После запуска сценария, данные не изменились. Это связано с тем, что для многопроцессорности используются копии вашей программы. Ваши функции запускаются, но они запускаются в копиях вашей программы и, таким образом, не влияют на вашу оригинальную программу.

Для того, чтобы использовать многопроцессорную обработку, вам необходимо явно связываться из одного процесса в другой. При поточной передаче все разделяется, но при многопроцессорности ничего не используется, если вы явно не делитесь им.

Самый простой способ заключается в использовании возвращаемых значений:

def new_awesome_function(a, b): 
    return a + b 

result = pool.apply_async(new_awesome_function, (1, 2)) 
# later... 
value = result.get() 

Смотрите документацию питона: http://docs.python.org/library/multiprocessing.html, для других методов, таких как Очереди, Трубы и менеджеров. То, что вы не можете сделать, это изменить состояние вашей программы и ожидать, что это сработает.