Каково будет поведение линии-seq?

Question

Я хотел бы понять поведение ленивой последовательности, если я перебираю doseq, но удерживаю часть первого элемента.

(with-open [log-file-reader (clojure.java.io/reader (clojure.java.io/file input-file-path))] 

    ; Parse line parse-line returns some kind of representation of the line. 
    (let [parsed-lines (map parse-line (line-seq log-file-reader)) 
      first-item (first parsed-lines)] 

      ; Iterate over the parsed lines 
      (doseq [line parsed-lines] 
      ; Do something with a side-effect 
     ))) 

Я не хочу сохранять ни один из этих списков, я просто хочу выполнить побочный эффект с каждым элементом. Я считаю, что без first-item проблем не возникнет.

У меня проблемы с памятью в моей программе, и я думаю, что, возможно, сохранение ссылки на что-то в начале последовательности parsed-line означает, что вся последовательность сохранена.

Какое здесь поведение? Если последовательность хранится, существует ли общий способ взять копию объекта и включить реализованную часть последовательности для сбора мусора?

Answer 1

Последовательность-холдинг здесь происходит

... 
(let [parsed-lines (map parse-line (line-seq log-file-reader)) 
... 

Последовательность строк в файле в настоящее время лениво производить и проанализирован, но вся последовательность удерживается на, в пределах объема let. Эта последовательность реализована в doseq, но doseq не проблема, она не поддерживает последовательность.

... 
(doseq [line parsed-lines] 
; Do something 
... 

Вы не обязательно заботиться о последовательности-холдинг в let, поскольку объем let ограничен, но здесь, вероятно ваш файл большой и/или вы остаетесь в пределах динамического объема let на некоторое время, или, возможно, вернуть закрытие, содержащее его в разделе «сделать что-то».

Обратите внимание, что удерживание на любом данном элементе последовательности, включая первое, не содержит последовательности. Термин head-holding немного неправильный, если вы считаете, что глава является первым элементом, как в «главе списка» в Prolog. Проблема заключается в ссылке на последовательность.

Answer 2

JVM никогда не будет возвращать память ОС, как только она станет частью кучи java, и если вы не настроите ее по-другому, размер максимальной кучи по умолчанию довольно большой (обычно 1/4 доступной оперативной памяти). Поэтому, если вы испытываете только такие неопределенные проблемы, как «Gosh, это занимает много памяти», а не «Ну, JVM бросил OutOfMemoryError», вы, вероятно, просто не настроили JVM так, как вам хотелось бы акт. partition-by является маленьким нетерпением, поскольку он содержит один или два раздела в памяти сразу, но если ваши разделы не огромны, вы не должны выходить из кучи с этим кодом. Попробуйте установить -Xmx100m, или как вы думаете, это разумный размер кучи для вашей программы, и посмотрите, есть ли у вас проблемы.