Состояние, используемое при многопроцессорной обработке при использовании одноэлементных классов

Question

Вот пример игрушки, который у меня есть. У меня есть класс Singleton, который используется в большом скрипте python. Я хочу, чтобы запустить этот сценарий много раз с несколькими входами: Одноэлементного шаблон не нужен здесь, но в моем более сложном реальном использовании есть причина, чтобы использовать его

import time 
import multiprocessing 


class TestClass(object): 
    instance = None 

    @classmethod 
    def get_instance(cls): 
    if cls.instance is None: 
     print 'creating instance' 
     cls.instance = TestClass() 
    return cls.instance 

    def __init__(self): 
    self.data = [] 


def worker(num): 
    tc = TestClass.get_instance() 
    time.sleep(0.1) 
    tc.data.append(num) 
    return tc.data 


def main(): 
    pool = multiprocessing.Pool(processes=1) 
    res = pool.map(worker, range(10)) 

    print res 
    print TestClass.get_instance().data 


main() 

Когда я запускаю приведенный выше код, его кажется, состояние TestClass.instance (полу-?) общий. Результат:

[[0, 1, 2], [0, 1, 2], [0, 1, 2], ..., [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]] 

Если изменить число процессов до 10 я получаю:

[[0], [1], [2], [3], [4], [5], [6], [7], [8], [9]] 

Это результат я хотел.

(Если я печатаю TestClass.get_instance().data после вызова pool.map() Затем я получаю пустой список.)

Что такое объяснение такого поведения? Есть ли способ остановить это разделение состояния и получить второй вывод, но сохранить контроль над количеством процессов в пуле?

Редактировать: Когда я выбираю N экземпляров для запуска функции с M различными аргументами. Экземпляр создается N раз. В идеале я хочу создать M экземпляров, по одному для каждого аргумента.

Answer 1

Okay; перефразирование:

Я хочу создать N процессов для запуска функции для M различных аргументов ; но вместо N рабочих процессов я хочу M worker процессов; один за перестановку аргументов.

Это действительно невозможно с multiprocessing.Pool, поскольку оно не предназначено для этого прецедента. Это больше похоже на встроенную функцию map(), где вы применяете функцию к последовательности входов, которые связаны с процессором по нескольким рабочим процессам.

должен самостоятельно управлять набором рабочих процессов, используя multiprocessing.Process().