Параллельная обработка с Numpy.loadtxt()

Question

У меня есть файл> 100MB, который должен быть прочитан с numpy.loadtxt()

Показания частью является основным узким местом в моем коде. Для файла 72MB он принимает 17.3s

Является ли это как-то можно прочитать в параллельном пути файла с помощью loadtxt()

Если возможно без разбиения файла.

Answer 1

Похоже, что numpy.loadtxt() - ваша проблема.

http://wesmckinney.com/blog/?p=543

http://codrspace.com/durden/performance-lessons-for-reading-ascii-files-into-numpy-arrays/

Согласно этих сайтов, вы лучше не использовать функцию загрузки Numpy на всех.

pandas.read_csv и read_table должны быть полезными из модуля панд.