Эффективное управление памятью в R

Question

Я имею ГБ памяти 6 в моей машине (Windows 7 Pro 64 бит) и в R, я получаю

> memory.limit() 
6141 

Конечно, при работе с большими данными, возникает ошибка выделения памяти. Поэтому для того, чтобы сделать R использовать виртуальную память, я использую

> memory.limit(50000) 

Теперь, когда работает мой сценарий, я не ошибка выделения памяти больше, но R свиньи вся память в моем компьютере, так что я могу Не используйте машину до завершения скрипта. Интересно, есть ли лучший способ заставить R управлять памятью машины. Я думаю, что что-то, что он может сделать, это использовать виртуальную память, если она использует физическую память больше, чем указано пользователем. Есть ли такой вариант?

Answer 1

Посмотрите на фф и bigmemory пакетов. Это использует функции, которые знают о объектах R, чтобы держать их на диске, а не позволять ОС (которая просто знает о кусках памяти, но не то, что они представляют).

Answer 2

R не управляет памятью машины. Это ответственность операционной системы. Единственная причина, по memory.size и memory.limit существует на Windows, потому, что (от help("Memory-limits")):

Under Windows, R imposes limits on the total memory allocation 
available to a single session as the OS provides no way to do so: 
see 'memory.size' and 'memory.limit'. 

R объекты также должны занимать непрерывное пространство в оперативной памяти, так что вы можете столкнуться с проблемами распределения памяти лишь несколько крупных объектов. Вероятно, вы можете быть более осторожны с количеством/размером создаваемых объектов и избегать использования большого количества памяти.

Answer 3

Это не решение, а предложение. По возможности используйте эффективные объекты памяти: например, используйте матрицу вместо data.frame.

Вот пример

m = matrix(rnorm(1000), 2, 2) 
d = as.data.frame(m) 
object.size(m) 
232 bytes 
object.size(d) 
808 bytes