Python: использование карты и многопроцессорности

Question

Я пытаюсь написать функцию, которая может принимать два аргумента, а затем добавить ее в multiprocessing.Pool и распараллелить ее. У меня были некоторые осложнения, когда я пытался написать эту простую функцию.

df = pd.DataFrame() 
df['ind'] = [111, 222, 333, 444, 555, 666, 777, 888] 
df['ind1'] = [111, 444, 222, 555, 777, 333, 666, 777] 

def mult(elem1, elem2): 
    return elem1 * elem2 

if __name__ == '__main__': 
    pool = Pool(processes=4) 
    print(pool.map(mult, df.ind.astype(int).values.tolist(), df.ind1.astype(int).values.tolist())) 
    pool.terminate() 

Это возвращается ошибка:

TypeError: unsupported operand type(s) for //: 'int' and 'list' 

Я не могу понять, что случилось. Может ли кто-нибудь объяснить, что означает эта ошибка, и как я могу это исправить?

Answer 1

Модуль многопроцессного пула принимает список аргументов, которые вы хотите обрабатывать многократно, и поддерживает только один аргумент. Вы можете исправить это, выполнив следующие действия:

from multiprocessing import Pool 
import pandas as pd 

df = pd.DataFrame() 
df['ind'] = [111, 222, 333, 444, 555, 666, 777, 888] 
df['ind1'] = [111, 444, 222, 555, 777, 333, 666, 777] 

def mult(elements): 
    elem1,elem2 = elements 
    return elem1 * elem2 

if __name__ == '__main__': 
    pool = Pool(processes=4) 
    inputs = zip(df.ind.astype(int).values.tolist(), df.ind1.astype(int).values.tolist()) 
    print(pool.map(mult, inputs)) 
    pool.terminate() 

Что я сделал здесь пронестись ваши два итерируемых в список с каждым элементом является два аргумента, которые вы хотели ввести. Теперь я изменяю ввод вашей функции, чтобы распаковать эти аргументы, чтобы они могли обрабатываться.