Openpyxl зависает при сохранении большого файла

Question

У меня есть сценарий, который я написал, который читает XML-файл и выводит соответствующие данные в файл TSV. Я конвертирую его, чтобы написать файл XLSX с openpyxl. Всякий раз, когда я сохраняю свою книгу в конце скрипта, она сохраняется в течение 30 секунд при сохранении. Я предполагаю, что это связано с большим объемом данных, которые я пишу (10144 строк в столбце «BG»). Есть ли способ оптимизировать это, чтобы сохранить быстрее или написать непосредственно в файл, пока я его создаю, поэтому ему не нужно сохранять это в конце?

Answer 1

Трудно сказать, что именно ваша проблема, но первая вещь, которую вы должны попробовать это использовать openpyxl optimized writer:

from openpyxl import Workbook 
wb = Workbook(optimized_write = True) 

ws = wb.create_sheet() 

# now we'll fill it with 10k rows x 200 columns 
for irow in xrange(10000): 
    ws.append(['%d' % i for i in xrange(200)]) 

wb.save('new_big_file.xlsx') # don't forget to save! 

Кроме того, рассмотреть вопрос о переходе на xlsxwriter в constant_memory режиме (см docs).

Надеюсь, что это поможет.