Python Многопроцессорный вызов нескольких методов

Question

У меня есть класс Python, который использует многопроцессорный пул для обработки и очистки большого набора данных. Метод, который выполняет большую часть очистки, - это «dataCleaner», которому необходимо вызвать второй метод «processObservation». Я довольно новичок в многопроцессорности Python, и я не могу понять, как гарантировать, что метод processObservation будет вызван из 'cleanData', когда будет создан новый процесс. Как я могу это сделать? Мое предпочтение было бы сохранить все эти методы в классе. Я подозреваю, что это связано с определением «», но я не уверен, как его соответствующим образом изменить.

def processData(self, dataset, num_procs = mp.cpu_count()): 
    dataSize = len(dataset) 
    outputDict = dict() 
    procs = mp.Pool(processes = num_procs, maxtasksperchild = 1) 

    # Generate data chunks for processing. 
    chunk = dataSize/num_procs 
    dataChunk = [(i, i + chunk) for i in range(0, dataSize, chunk)] 
    count = 1 
    print 'Number of data chunks %d' %len(dataChunk) 
    for i in dataChunk: 
     procs.apply_async(self.dataCleaner, args = (dataset[i[0]:i[1]], count,)) 
     count += 1 
    procs.close() 
    procs.join() 

def cleanData(self, data, procNumber): 
    print 'Spawning new process: %d' %os.getpid() 
    tempDict = dict() 
    print len(data) 
    for obs in data: 
     key, value = processObservation(obs) 
     tempDict[key] = value 
    cPickle.dump(tempDict, open('../dataMP/cleanedData_' + str(procNumber) + '.p', 'wb')) 

def __call__(self, dataset, count): 
    return self.cleanData(dataset, count) 

Answer 1

Трудно сказать, что происходит на b/c, вы не дали воспроизводимого кода или ошибки.

Однако ваша проблема очень вероятна, потому что вы используете multiprocessing изнутри класса.

См: Using multiprocessing in a class и Multiprocessing: How to use Pool.map on a function defined in a class?