многопроцессорное копирование глобальной переменной памяти

Question

Я запускаю программу, которая сначала загружает 20 ГБ данных в память. Затем я буду выполнять N (> 1000) независимых задач, в которых каждый из них может использовать (только для чтения) часть данных 20 ГБ. Теперь я пытаюсь выполнить эти задачи с помощью многопроцессорности. Однако, как сообщает this answer, все глобальные переменные копируются для каждого процесса. В моем случае у меня недостаточно памяти для выполнения более 4 задач, так как моя память составляет всего 96 ГБ. Интересно, есть ли какое-либо решение этой проблемы, чтобы я мог полностью использовать все свои ядра, не потребляя слишком много памяти.

Answer 1

В linux разветвленные процессы имеют представление на родительском адресном пространстве с копией на запись. forking имеет легкий вес, и одна и та же программа работает как у родителя, так и у ребенка, за исключением того, что ребенок принимает другой путь выполнения. В качестве небольшого exmample,

import os 
var = "unchanged" 
pid = os.fork() 
if pid: 
    print('parent:', os.getpid(), var) 
    os.waitpid(pid, 0) 
else: 
    print('child:', os.getpid(), var) 
    var = "changed" 

# show parent and child views 
print(os.getpid(), var) 

Результаты в

parent: 22642 unchanged 
child: 22643 unchanged 
22643 changed 
22642 unchanged 

Применяя это к многопроцессорной, в этом примере я загрузить данные в глобальную переменную. Поскольку python рассоливает данные, отправленные в пул процессов, я убеждаюсь, что он раскроет что-то маленькое, как индекс, и заставить работника получить глобальные данные.

import multiprocessing as mp 
import os 

my_big_data = "well, bigger than this" 

def worker(index): 
    """get char in big data""" 
    return my_big_data[index] 

if __name__ == "__main__": 
    pool = mp.Pool(os.cpu_count()) 
    for c in pool.imap_unordered(worker, range(len(my_big_data)), chunksize=1): 
     print(c) 

В Windows нет модели fork-and-exec для запуска программ. Он должен запустить новый экземпляр интерпретатора python и клонировать все соответствующие данные для ребенка. Это тяжелый подъем!