Python, используя потоки с многопроцессорной обработкой

Question

Может кто-нибудь объяснить, почему потоки не работают в многопроцессорной обработке.

Я приложил несколько примеров, чтобы объяснить мою проблему.

У меня есть процесс, который выполняется каждую секунду и записывается в файл. Когда я запускаю его из оболочки, он работает так, как ожидалось.

stat_collect.py

#!/usr/bin/env python 
# -*- coding: utf-8 -*- 

from threading import Timer 
from os import path 
from datetime import datetime 

STAT_DATETIME_FMT = '%Y-%m-%d %H:%M:%S' 


def collect_statistics(): 
    my_file = 'test.file' 
    if not path.exists(my_file): 
     with open(my_file, 'w') as fp: 
      fp.write(datetime.now().strftime(STAT_DATETIME_FMT) + '\n') 
    else: 
     with open(my_file, 'a') as fp: 
      fp.write(datetime.now().strftime(STAT_DATETIME_FMT) + '\n') 

    Timer(1, collect_statistics).start() 


if __name__ == '__main__': 
    collect_statistics() 

Когда я пытаюсь запустить его из другого сценария (для работы в фоновом режиме):

#!/usr/bin/env python 

from multiprocessing import Process 
from stat_collect import collect_statistics # logger sc 

if __name__ == '__main__': 
    # This don't work 
    p = Process(target=collect_statistics) 
    p.start() 

    while True: 
     pass 

Метод collect_statistics выполняется только один раз, но если я использую тему (target = collect_statistics) .start() работает так, как будто я запускаю его из оболочки. Почему это происходит?

Answer 1

Вот что происходит:

1. Вы начинаете ваш процесс
2. collect_statistics работает
3. Таймер запускается
4. теперь функция вызывается в процессе (collect_statistics) закончена, поэтому процесс уходит, убивая таймер в одно и то же время.

Вот как это исправить:

stat_collect.py

#!/usr/bin/env python 
# -*- coding: utf-8 -*- 

from threading import Timer 
from os import path 
from datetime import datetime 
import time 

STAT_DATETIME_FMT = '%Y-%m-%d %H:%M:%S' 


def collect_statistics(): 
    while True: 
     my_file = 'test.file' 
     if not path.exists(my_file): 
      with open(my_file, 'w') as fp: 
       fp.write(datetime.now().strftime(STAT_DATETIME_FMT) + '\n') 
     else: 
      with open(my_file, 'a') as fp: 
       fp.write(datetime.now().strftime(STAT_DATETIME_FMT) + '\n') 

     time.sleep(1) 


if __name__ == '__main__': 
    collect_statistics() 

И для вызова скрипта:

#!/usr/bin/env python 

from multiprocessing import Process 
from stat_collect import collect_statistics # logger sc 

if __name__ == '__main__': 
    # This don't work 
    p = Process(target=collect_statistics) 
    p.start() 
    p.join() # wait until process is over, e.g forever 

p.join() только здесь, чтобы заменить вас бесконечное в то время как цикл, который забирает много ресурсов для ничего.