Как управлять огромным CSV-файлом в python

Question

У меня есть файл CSV более 16G, каждая строка - это текстовые данные. Когда я кодировал (например, один-горячий-кодировать) весь файл CSV-файла, мой процесс был убит из-за ограничения памяти. Есть ли способ обработать такие «большие данные»?

Я думаю, что разбить весь CSV-файл на несколько «меньших» файлов, а затем добавить их в другой CSV-файл, это правильный способ обработки огромного CSV-файла?

Answer 1

В вашем вопросе не указывается, какой язык вы используете для обработки этого файла CSV. Я отвечу, используя C#, но я полагаю, что стратегия будет одинаково хорошо работать и для Java.

Вы можете попробовать использовать класс StreamReader для чтения файла по строке. Это должно заботиться о прочитанной стороне вещей.

Что-то вроде:

using (var reader = new StreamReader(...)) 
{ 
    var line = string.Empty; 

    while ((line != reader.ReadLine()) != null) 
    { 
     Process(line); 
    } 
} 

NB: Это фрагмент кода в C#, и более псевдокод, чем фактический код.

Вы должны создать базу данных с использованием какой-либо локальной технологии БД, SQLite или SQL Server LocalDB или даже MySQL и загрузить данные в таблицу или таблицы.

Затем вы можете написать любую другую дальнейшую обработку на основе данных, хранящихся в базе данных, а не в простом текстовом файле.

Answer 2

Это обсуждалось в Reading huge csv files efficiently?

Вероятно, наиболее разумным, что нужно сделать с файлом 16GB CSV не будет загружать все это в памяти, но читать и обрабатывать его построчно:

with open(filename, "r") as f: 
    lines = csv.reader(f) 
    for line in lines: 
     #Process the line