Многопроцессорные 500 событий 10 на 10?

Question

Добрый вечер все,

Я хотел бы запустить что-то вроде процесса 500 в одно и то же время и решил написать пул, управляющий работой. Однако он очень тяжелый, и память не выглядит так, как будто он справится с этим. Любая рекомендация открыть/использовать пул, который будет выполнять процессы 10 на 10 или 50 на 50? Спасибо

Вот как я сейчас обрабатываю.

def get_data_mp(args): 
    settings = args 

    procs = len(settings.ticker_list) 
    pool = multiprocessing.Pool(procs) 
    tickers = pool.map(get_file_mp, [(settings,i) for i in range(procs)]) 
    pool.close() 
    pool.join() 

Обычно количество проков составляет около 500. Функции get_file_mp довольно тяжелый поэтому, когда все находится в памяти, компьютер страдает много. Вот почему я хотел бы иметь способ вывести эти процессы 10 на 10 или 50 на 50, поскольку я заметил, что компьютер смог справиться с этой нагрузкой на работу.

Answer 1

Я бы создал два потока, один из которых представляет собой поток очереди событий, а другой - поток отправки событий.

• В очереди на очередь событий, где ваши 500 процессов отправили туда событие. Как только это произойдет, он заснет.
• Поток очереди событий будет ждать появления порогового значения заданий или произойдет время от последней отправки события. Ваш порог будет 10 или 50 или что угодно.
• По достижении этого порогового значения или времени он будет выполнять 10 или 50 событий и передать их в поток отправки задания и снова переспать
• Ваш поток отправки событий будет перебирать события и вызывать обработчик для каждого, а затем снова спать.

Это, если вы действительно хотите выполнять пакетные события, я лично предпочел бы не выполнять их пакет и попытаться оптимизировать их выполнение в режиме реального времени.