Popen подпроцесс не выходит, когда STDIN включает юникода

Question

Я уверен, выполнение подпроцесса с помощью Popen и подачи его ввода следующим образом (с помощью Python 2.7.4):

env = dict(os.environ) 
env['LC_ALL'] = 'en_US.UTF-8' 
args = ['chasen', '-i u', '-F"%m "'] 
process = Popen(args, stdout=PIPE, stderr=PIPE, stdin=PIPE, env=env) 
out, err = process.communicate(input=string) 

Добавление записи в окружающую среду она выполняется с необходимо, потому что входная строка содержит японские символы, а когда сценарий не выполняется из командной строки (в моем случае вызывается Apache), Python не может угадать кодировку.

Эта настройка отлично подходит для меня с другими командами, однако теперь я использую chasen (японский токенизатор), всякий раз, когда я отправляю символы Unicode, подпроцесс не возвращается, и он просто сидит там, где скрипт Python памяти. Это похоже на проблему кодирования, но я подумал, что я бы разобрал это, указав кодировку с переменной окружения LC_ALL.

Редактирование: лишняя странность следующим образом. Я не получаю эту проблему при выполнении сценария Python из командной строки с заметным исключением символа '.'. По какой-то причине это вызывает странность от chasen.

Answer 1

Это ошибка в часене. При запуске через Python, вы можете увидеть следующие системные вызовы, она выдает:

write(1, "\n", 1)      = 1 
read(0, "", 4096)      = 0 
write(1, "\n", 1)      = 1 
read(0, "", 4096)      = 0 

т.е. не правильно обрабатывать EOF. Чтобы исправить это, просто наклеить на новую строку ('\n') в строку Python, например:

# coding: utf-8 
import os 
from subprocess import Popen, PIPE 

string = u"悪妻は百年の不作。" 

env = dict(os.environ) 
env['LC_ALL'] = 'en_US.UTF-8' 
args = ['chasen', '-i u', '-F"%m "'] 
process = Popen(args, stdout=PIPE, stderr=PIPE, stdin=PIPE, env=env) 
out, err = process.communicate(input=(string + u'\n').encode('utf-8')) 

print(out)