Пропустить обратно в файл в Python

Question

Я читаю в файл с помощью

for line in fin: 
    process(line) 

Однако, я иногда, как пропустить назад некоторые строки в файл и просто вести оттуда. Я не буду знать количество строк заранее, так как это зависит от вычислений в коде. Поэтому я хотел бы, чтобы это было что-то вроде

for line in fin: 
    x = process(line) 
    if (x == 23): 
     skip back xxx lines and continue 

Как вы можете это сделать в python?

Это что-то, что можно сделать с помощью mmap, например? Файл большой, поэтому я не хочу просто хранить все это в памяти.

Answer 1

Другой подход:

In [11]: from collections import deque 

In [12]: cache = deque(maxlen=max_skip_back) 

In [13]: for line in fin: 
    ....:  line = line.strip() 
    ....:  cache.append(line) 
    ....:  x = process(line) 
    ....:  if x == 23: 
    ....:   for line in cache[-this_skip_back:]: 
    ....:    process(line) 

Это не будет читать весь файл в память. deques отбрасывают свои первые элементы, если они дольше, чем maxlen.

Answer 2

Try что-то вроде

lines = fin.readlines() 
i = 0 
while i < len(lines): 
    x = process(lines[i]) 
    if x == 23: 
     i -= num_lines 
    else: 
     i += 1 

Answer 3

Я бы предложил записать позицию каждой строки в массиве, когда вы идете, используя метод tell() для файлового объекта. Это обеспечивает смещение местоположения каждой линии по мере ее возникновения. Затем, когда вы хотите пропустить назад, вы используете f.seek() для перехода назад в указанные местоположения.

Например:

linestarts = [] 
f = open(myfile,"r") 
... 
linestarts.append(f.tell()) # save each line 
f.readline() # do stuff reading a line 
... 
# want to jump back 3 lines for some reason 
f.seek(linestarts[-3]) 

Конечно, другой вариант заключается в кэш последние несколько строк в своем коде, но это то, что STDIO это уже делает для вас.