Параллельная обработка в pandas python

Question

У меня 5 000 000 строк в моей кадре данных. В моем коде я использую iterrows(), который занимает слишком много времени. Чтобы получить требуемый результат, я должен выполнить итерацию по всем строкам. Поэтому я хотел знать, могу ли я распараллелить код в пандах.

Answer 1

Вот веб-страницу, я обнаружил, что может помочь: http://gouthamanbalaraman.com/blog/distributed-processing-pandas.html

А вот код для многопроцессорной найдено в этой странице:

import pandas as pd 
import multiprocessing as mp 

LARGE_FILE = "D:\\my_large_file.txt" 
CHUNKSIZE = 100000 # processing 100,000 rows at a time 

def process_frame(df): 
    # process data frame 
    return len(df) 

if __name__ == '__main__': 
    reader = pd.read_table(LARGE_FILE, chunksize=CHUNKSIZE) 
    pool = mp.Pool(4) # use 4 processes 

    funclist = [] 
    for df in reader: 
     # process each data frame 
     f = pool.apply_async(process_frame,[df]) 
     funclist.append(f) 

    result = 0 
    for f in funclist: 
     result += f.get(timeout=10) # timeout in 10 seconds 

    print "There are %d rows of data"%(result)