Ошибка утечки памяти тумана

Question

Я написал сценарий для рекурсивной загрузки через контейнеры облачных контейнеров Rackspace и получения копии каждого файла, поэтому у меня есть локальная резервная копия, если Rackspace попадает в метеоры и/или hindenbugs.

Однако мой сценарий, по-видимому, пропускает память в линейном масштабе при загрузке моих файлов.

В принципе у меня есть метод, который выглядит следующим образом:

def download_file(fog_file, destination_path) 
    data = fog_file.body 
    File.open(destination_path, 'w') { |f| f.write(data) } 
end 

Я понимаю, что в связи с характером тумана, я не могу избежать загрузки всего файла в память, но я бы предположил, что Руби освободить память (или иметь возможность выпускать память) после каждого вызова download_file. В конце концов, переменная data выходит за рамки.

К сожалению, когда я смотрю на мой системный мониторинг, использование памяти просто увеличивается с линейным темпом до тех пор, пока не расходует всю доступную память, после чего сбой сценария.

Что я здесь делаю неправильно?

Я использую Ruby 2.1.2 на Ubuntu.

Answer 1

Вы можете избежать загрузки всего файла в память двумя способами.

Во-первых, вы можете получить файл в 100kb (или меньше) Патроны:

service = Fog::Storage.new({ provider: 'Rackspace', 
          # ... auth config 
          connection_options: {chunk_size: 102_400} # 100 KB in bytes       
}) 

directory = service.directories.get "dir" 

File.open((destination_path, 'w') do | f | 
    directory.files.get("my_file_on_cloud.png") do | data, remaining, content_length | 
    f.syswrite data 
    end 
end 

Во-вторых, вы можете получить файл URL с туманом используйте OpenUri, чтобы загрузить и сохранить файл:

require 'open-uri' 

file = open(file.public_url).read 
File.open(destination_path, 'w') { |f| f.write(file) } 

Первый метод записывает непосредственно в файл назначения, второй вместо этого создает экземпляр Tempfile (создайте временный файл в файловой системе). Попробуйте оба.