Какой самый pythonic способ перебрать все строки из нескольких файлов?

Question

Я хочу обрабатывать много файлов, как если бы они были одним файлом. Каков правильный питонический способ взять [filenames] => [file objects] => [lines] с генераторами/не считывать весь файл в память?

Мы все знаем, что правильный способ открыть файл:

with open("auth.log", "rb") as f: 
    print sum(f.readlines()) 

И мы знаем, что правильный способ связать несколько итераторов/генераторов в один длинный один:

>>> list(itertools.chain(range(3), range(3))) 
[0, 1, 2, 0, 1, 2] 

но как я связать несколько файлов вместе и сохранить менеджеров контекста?

with open("auth.log", "rb") as f0: 
    with open("auth.log.1", "rb") as f1: 
     for line in itertools.chain(f0, f1): 
      do_stuff_with(line) 

    # f1 is now closed 
# f0 is now closed 
# gross 

я мог игнорировать менеджеров контекста и сделать что-то вроде этого, но он не чувствует себя хорошо:

files = itertools.chain(*(open(f, "rb") for f in file_names)) 
for line in files: 
    do_stuff_with(line) 

Или это вроде того, что Async IO - PEP 3156 для и я буду только ждать элегантный синтаксис позже?

Answer 1

Всегда есть fileinput.

for line in fileinput.input(filenames): 
    ... 

source Чтение однако, оказывается, что fileinput.FileInput не может быть использован в качестве контекста менеджера . Чтобы исправить это, вы могли бы использовать contextlib.closing начиная FileInput экземпляры имеют более здраво реализован close метода:

from contextlib import closing 
with closing(fileinput.input(filenames)) as line_iter: 
    for line in line_iter: 
     ... 

---

Альтернативное с менеджером контекста, это написать простую функцию зацикливания над файлами и плодоношением линии, как вы перейти:

def fileinput(files): 
    for f in files: 
     with open(f,'r') as fin: 
      for line in fin: 
       yield line 

Нет реальной необходимости itertools.chain здесь ИМХО ... магия здесь в yield заявлении, которое используется для преобразования обычной функции Int o фантастически ленивый генератор.

---

Как и в сторону, начиная с python3.2, fileinput.FileInputявляется реализуется как менеджер контекста, который делает именно то, что мы делали раньше с contextlib. Теперь наш пример:

# Python 3.2+ version 
with fileinput.input(filenames) as line_iter: 
    for line in line_iter: 
     ... 

, хотя другой пример будет работать и на python3.2 +.