Печать вывода в реальном времени из подпроцесса

Question

Я пытаюсь напечатать stdout в реальном времени для подпроцесса, но похоже, что stdout буферизуется даже с bufsize = 0, и я не могу понять, как заставить его работать, у меня всегда есть задержка.

Код я пробовал:

p = subprocess.Popen(cmd, 
        stdout=subprocess.PIPE, 
        stderr=subprocess.STDOUT, 
        bufsize=0) 
line = p.stdout.readline() 
while line: 
    sys.stdout.write(line) 
    sys.stdout.flush() 
    # DO OTHER STUFF 
    line = p.stdout.readline() 

Также попытался с for line in iter(p.stdout.readline, b'') вместо петли в то время как и с read(1) вместо readline(). Всегда один и тот же результат, выход задерживается на несколько секунд или минут, и сразу появляется несколько строк.

То, что я думаю, что происходит:

bufsize устанавливается в 0 (устанавливаются в 0 по умолчанию в соответствии с Документами), так что линии конвейера p.stdout должен быть доступны немедленно. Но так как p.stdout.readline() не возвращается сразу же, когда новая строка передается по трубопроводу, это означает, что она буферизована, поэтому сразу несколько строк, когда буфер окончательно сброшен на p.stdout.

Что я могу сделать, чтобы это сработало?

Answer 1

Благодаря pobrelkey, который нашел источник проблемы. Действительно, задержка связана с тем, что ребенок буферизует свою запись в stdout, потому что он не пишет tty. Ребенок использует stdio, который буферизируется при записи в tty, иначе он полностью буферизуется.

Мне удалось заставить его работать, используя pexpect вместо subprocess. pexpect использует псевдо-терминал, и это именно то, что нам нужно здесь:

p = pexpect.spawn(cmd,args,timeout=None) 
line = p.readline() 
while line: 
    sys.stdout.write(line) 
    sys.stdout.flush() 
    # DO OTHER STUFF 
    line = p.readline() 

Или еще лучше в моем случае:

p = pexpect.spawn(cmd,args,timeout=None,logfile=sys.stdout) 
line = p.readline() 
while line: 
    # DO OTHER STUFF 
    line = p.readline() 

Больше не медлите!

Больше информации о pexpect: wiki

Answer 2

Сначала я должен убедиться, что сам подпроцесс не буферизует его вывод. Если подпроцесс, в свою очередь, является программой Python, перейдите к абзацу ниже, чтобы узнать, как отключить буферизацию вывода для процессов Python.

В соответствии с Python обычно проблема заключается в том, что Python по умолчанию буферизирует stderr и stdout, даже если вы явно указали .flush() его код. Решение должно пройти -u на Python при запуске вашей программы.

Кроме того, вы можете просто сделать for line in p.stdout вместо сложного цикла while.

P.S. На самом деле я попытался запустить ваш код (с cmd = ['cat', '/dev/urandom']) и без -u, и он выводил все в реальном времени; это на OS X 10.8.

Answer 3

Если вы просто хотите, чтобы stdout вашего дочернего процесса перешел на ваш stdout, почему бы просто не наследовать дочерний процесс stdout из вашего процесса?

subprocess.Popen(cmd, stdout=None, stderr=subprocess.STDOUT)