Parsing mbox files in Python

Question

Python новичок здесь. Я хочу пройти через большой файл mbox, анализируя сообщения электронной почты. Я могу сделать это с:

import sys 
import mailbox 

def gen_summary(filename): 
    mbox = mailbox.mbox(filename) 
    for message in mbox: 
     subj = message['subject'] 
     print subj 

if __name__ == "__main__": 
    if len(sys.argv) != 2: 
     print 'Usage: python genarchivesum.py mbox' 
     sys.exit(1) 

    gen_summary(sys.argv[1]) 

Но мне нужно больше контроля. Мне нужно получить байт позиции начала данного письма в файле mbox, и мне также нужно получить количество байтов в сообщении (как представлено на диске). И затем, в будущем, вместо повторения с начала файла mbox, мне нужно иметь возможность искать данное сообщение и просто анализировать его (отсюда одна из потребностей получения позиции байта на диске). Это большие файлы mbox и эффективность.

Цель всего этого заключается в том, что я могу сгенерировать итоговый файл, содержащий несколько небольших битов о каждом письме в mbox, а затем в будущем эффективно искать отдельные письма в mbox.

Answer 1

Я не тестировал это, но что-то подобное может сработать для вас. Просто откройте файл (в двоичном режиме, чтобы ваш счетчик байтов был правильным) и просмотрите его, найдя сообщения.

def is_mail_start(line): 
    return line.startswith("From ") 

def build_index(fname): 
    with open(fname, "rb") as f: 
     i = 0 
     b = 0 
     # find start of first message 
     for line in f: 
      b += len(line) 
      if is_mail_start(line): 
       break 
     # find start of each message, and yield up (index, length) of previous message 
     for line in f: 
      if is_mail_start(line): 
       yield (i, b) 
       i += b 
       b = 0 
      b += len(line) 
     yield (i, b) # yield up (index, length) of last message 

# get index as a list 
mbox_index = list(build_index(fname)) 

После того как вы индекс, вы можете использовать метод .seek() на объект файла, чтобы искать там, и .read(length) на объект файла для чтения только один сообщение. Я не уверен, как вы будете использовать модуль mailbox со строкой; Я думаю, что он предназначен для работы с почтовым ящиком на месте. Возможно, есть другой модуль для разбора почты, который вы можете использовать.