быстрый способ экспорта данных из огромного списка Python в текстовый файл

Question

Я ищу самый производительный способ экспортировать элементы до десяти Python списки [x1, x2, x3, ... xn], [y1, y2, y3, ... yn], [z1, z2, z3, ... zn], ... в текстовый файл со структурой следующим образом:

x1 y1 z1 . . . 
x2 y2 z2 . . . 
x3 y3 z3 . . . 
. . . . . . 
. . . . . . 
. . . . . . 
xn yn zn . . . 

Что бросает вызов, так это то, что в каждом списке может быть до 1 миллиона элементов.

Любые предложения приветствуются.

Answer 1

Используйте модуль csv и функцию writerows, чтобы написать список списков в одной строке.

Малый автономный тест:

import random,time 


lists = [[random.randint(1,500) for _ in range(100000)] for _ in range(100)] 

import csv 
start_time=time.time() 

with open("out.csv","w",newline="") as f: 
    cw = csv.writer(f,delimiter=" ") 
    cw.writerows(lists) 

print(time.time()-start_time) 

пишет 100 строк 100000 элементов в 2-х секунд на моей машине (генерируя список был медленнее, чем писать их обратно)

Так вы просто ограничивается память вашего входного списка.

EDIT: этот код выше не «транспонируется» должным образом, поэтому он обманывает. Использование zip (Python 3) делает трюк непосредственно с помощью writerows поэтому код не изменится:

import random,time 

n=1000000 
list1 = list(range(1,n)) 
list2 = list(range(n+1,n*2)) 
list3 = list(range(2*n+1,n*3)) 

import csv 
start_time=time.time() 

with open("out.csv","w",newline="") as f: 
    cw = csv.writer(f,delimiter=" ") 
    cw.writerows(zip(list1,list2,list3)) 

print(time.time()-start_time) 

для python2, используйте itertools.izip потому zip возвращает список: не эффективно использует память. Python 2 код соответствует:

import itertools 
with open("out.csv","wb") as f: 
    cw = csv.writer(f,delimiter=" ") 
    cw.writerows(itertools.izip(list1,list2,list3)) 

Если у вас есть список списков:

list_of_lists = [list1,list2,list3] 

вы можете использовать * расширить список в аргументы для zip или izip:

cw.writerows(zip(*lists_of_lists)) 

cw.writerows(itertools.izip(*lists_of_lists)) 

Answer 2

Вы может сделать что-то вроде этого:

from itertools import izip 
import csv 

with open('new_file', 'w') as f: 
    writer = csv.writer(f, delimiter=' ') 
    for a in izip(l1, l2, ....., l10): 
     writer.writerow(a)