Двойное чтение большого файла CSV

Question

У меня большой CSV, который не будет полностью вписываться в память, и мне нужно много работать над этим. Я новичок в ленивых последовательностях, не знаю, как это решить. Я пытаюсь прочитать весь файл в памяти, а затем проанализировать его, я знаю, что это неправильно.

Вот что я пытаюсь сделать:

1. Прочитайте строку заголовка и делать вещи, основываясь на этом. Он используется во всей программе.
2. Прочитать все строки и собрать сводные данные по каждому столбцу.
3. Используйте сводные данные для преобразования исходных данных и записи нового файла.

Есть ли способ прочитать в строке заголовка и использовать его постоянно, не приводя к проблеме «держаться за голову» с ленивыми последовательностями, сохраняя все это в памяти?

Я нашел это связанный нить: using clojure-csv.core to parse a huge csv file

Answer 1

Clojure заботится о расчистке локальных привязок, так как только не обязательный больше не будет использоваться, будет обнулена, чтобы сделать его elegible для GC. Так что ваш код может выглядеть примерно так:

(defn gather-summary [file] 
    (with-open [rdr (io/reader file)] 
     (let [lines (csv/read-csv rdr) 
      header (first lines)] 
      (reduce (fn [so-far row] 
        (if header 
        (inc so-far) 
        (dec so-far))) 
       0 
       (rest lines)))) 

(defn modify [summary file] 
    ;similar to gather 
    ) 

(defn process [file] 
    (let [summary (gather-summary file)] 
     (modify summary file))) 

header не держит голову, потому что он просто имеет первый элемент, который не имеет никакого реф к остальной части линий.

lines не используется после вызова (rest lines) fn, поэтому Clojure очистит его.

reduce работа по рекурсивному способу, так Clojure также берет на not holding the head in that case