Как эффективно писать csv в python?

Question

Я работаю над вычислением tf-idf в большом документе. Количество слов у меня более 80 000. Я пытаюсь написать разреженную матрицу в файле csv. Я использую код, аналогичный приведенному здесь How to add a new column to a CSV file using Python?

Выходной файл слишком большой по размеру, превышающий 700 МБ только для 30 000 слов. Итак, мой вопрос заключается в том, как написать его эффективно? Спасибо.

Answer 1

CSV CSV и вы не можете с этим поделать. Вы можете просто gzip, если вы действительно хотите придерживаться CSV, или вы можете использовать какой-то пользовательский формат, который лучше всего соответствует вашим потребностям.

Например, вы можете использовать словарь и экспортировать в формат JSON или создать выделенный объект, который обрабатывает ваши данные, и pickle.

Когда я работал с TF-IDF, я использовал sqlite (через sqlalchemy) для хранения информации о документах с данными TF в качестве словаря в формате JSON. Из того, что я создал статистику IDF, а затем сделал остальную TFIDF, используя numpy

Answer 2

Вы можете легко написать непосредственно в файл GZIP, используя модуль сжатия:

import gzip 
import csv 

f=gzip.open("myfile.csv.gz", "w") 
csv_w=csv.writer(f) 
for row in to_write : 
    csv_w.writerow(row) 
f.close() 

Не забудьте закрыть файл, в противном случае полученный файл csv.gz может быть нечитаемым.

Вы также можете сделать это в более вещий стиле:

with gzip.open("myfile.csv.gz", "w") as f : 
    csv_w = csv.writer(f) 
    ... 

, который гарантирует, что файл будет закрыт.

Надеюсь, это поможет.