enigma using python-multiprocessing связанный с if __name__ == '__main__'

Question

Я использую multiprocessing для ускорения моей программы, и есть загадка, которую я не могу решить. Я использую multiprocessing, чтобы написать много коротких файлов (на основе большого количества входных файлов) с помощью функции writing_sub_file, и я, наконец, конкатенирую все эти файлы после окончания всех процессов, используя функцию my_concat. Вот два примера кода. Обратите внимание, что этот код находится в моем файле main .py, но функция my_concat импортируется из другого модуля. Первый из них:

if __name__ == '__main__': 
    pool = Pool(processes=cpu_count()) 
    arg_tuple = (work_path, article_dict, cat_len, date_to, time_period, val_matrix) 
    jobs = [(group, arg_tuple) for group in store_groups] 
    pool.apply_async(writing_sub_file, jobs) 
    pool.close() 
    pool.join() 

my_concat(work_path) 

, который дает много ошибок (сколько есть процессы в бассейне), так как он пытается применить my_concat, прежде чем сделаны все мои процессы (я не даю стек ошибки, так как Очень ясно, что функция my_concat пытается применить, прежде чем все файлы будут записаны процессами пула).

Второй:

if __name__ == '__main__': 
    pool = Pool(processes=cpu_count()) 
    arg_tuple = (work_path, article_dict, cat_len, date_to, time_period, val_matrix) 
    jobs = [(group, arg_tuple) for group in store_groups] 
    pool.apply_async(writing_sub_file, jobs) 
    pool.close() 
    pool.join() 
    my_concat(work_path) 

, который отлично работает.

Может кто-нибудь объяснить мне причину?

Answer 1

Во втором, my_concat(work_path) находится внутри оператора if и поэтому выполняется только в том случае, если скрипт работает как основной скрипт.

В первом, my_concat(work_path) находится за пределами инструкции if. Когда multiprocessing импортирует модуль в новый сеанс Python, он не импортируется как __main__, но под его собственным именем. Поэтому этот оператор запускается почти сразу, в каждом из процессов вашего пула, когда ваш модуль импортируется в этот процесс.