Подпроцесс freezes popen(). Stdout.read

Question

У меня эта проблема беспокоит меня в течение некоторого времени, и я не могу найти решение для нее, я использую subprocess.Popen() для доступа к C++, которое делает некоторые тяжелые вычисления для меня, но оно продолжает замерзать на Popen(). Stdout.read(); вот код питона:

process = subprocess.Popen(['/path/to/my/executable'], shell=False, 
stdout=subprocess.PIPE, stdin=subprocess.PIPE) 
process.stdin.write("Some String") 
print process.stdout.read()#It freezes here 

и вот с ++ код:

код

int main(int argc, char** argv) { 
    ...Prep work... 
    while (1) { 
     string input; 
     cin>>input; 
    ...Some Work ... 
     cout<< response; 
    } 
} 

C++ прекрасно работает в оболочке, но я не могу понять, почему она замерзает на питона

Answer 1

Используйте communicate() вместо:

import subprocess 
process = subprocess.Popen(['app'], shell=False, 
          stdout=subprocess.PIPE, 
          stdin=subprocess.PIPE) 
out, err = process.communicate("Some String") 
print out 

Кроме того, убедитесь, что йо u завершите свой C++-процесс в какой-то момент. Например, когда вы дойдете до конца вашего входного потока:

#include <string> 
#include <iostream> 
using namespace std; 

int main(int argc, char** argv) { 
    //...Prep work... 
    while (cin) { // <-- Will eventually reach the end of the input stream 
     string input; 
     cin >> input; 
     //...Some Work ... 
     string response = input; 
     cout << response; 
    } 
} 

Существует предупреждение для этого в документации питона: http://docs.python.org/2/library/subprocess.html#subprocess.Popen.stdin (справа выше)

Он объясняет, что, когда вы пишете на внешнее приложение , данные могут быть помещены в очередь. Кроме того, вывод внешнего приложения также будет помещен в очередь. Связь() будет «очищать» содержимое, которое вы отправляете во внешнее приложение, и ждать, пока ваше приложение не завершится.

Используя communicate(), вы получите весь внешний выход приложения в памяти. Если это непрактично (например, огромный вывод), вы можете писать или читать с использованием объектов stdin и stdout. Вы должны позаботиться о не «запирании»:

import subprocess 

process = subprocess.Popen(['app'], shell=False, 
          stdout=subprocess.PIPE, 
          stdin=subprocess.PIPE) 
process.stdin.write("Some String") 
process.stdin.close() # <-- Makes sure the external app gets an EOF while 
         #  reading its input stream. 
for line in process.stdout.readlines(): 
    print line 

Но даже с этой техникой, убедитесь, что вход вы даете внешнему приложение достаточно мал, чтобы избежать блокировок при записи.

Если ваш вход также довольно большой, вам нужно убедиться, что ваши чтения и записи не блокируются. Использование потоков, скорее всего, будет хорошим выбором.

Answer 2

Обычно нам нужно неблокирующая IO, 1) читать все ответы, пока не больше данных, а затем 2) излучает что-то подпроцесс, повторять 1-2 Использование потоков также помогут.