Общая память для параллельных процессов

Question

Прошло некоторое время с тех пор, как я в последний раз смотрел (например, устаревший nws package), и поэтому я задавался вопросом, произошло ли что-нибудь «за».

Есть ли способ обмена памятью через параллельные процессы?

Я хочу, чтобы каждый процесс имел доступ к объекту , который играет роль метаобъекта.

Answer 1

rredis package обеспечивает функциональность, похожую на nws. Вы можете использовать rredis с пакетами foreach и doRedis или с любым другим пакетом параллельного программирования, например parallel.

Answer 2

Что будет эффективно работать, это общая матрица через пакет bigmemory. Вы можете сериализовать/unserialize довольно каждый объект R в такую ​​матрицу.

К сожалению, единственный способ, которым вы можете разделить матрицы между процессами, - это их дескрипторы, которые не являются детерминированными (т. Е. Если вы не общаетесь с другим процессом, вы не можете получить дескриптор). Чтобы решить эту проблему с курицей и яйцом, вы можете сохранить дескриптор в выбранном месте в файловой системе. (Дескриптор действительно маленький, единственная нетривиальная вещь, которую он содержит, - это адрес памяти фактического bigmatrx).

Если вы все еще заинтересованы, я могу опубликовать код R.

Answer 3

Вы можете сделать это эффективно с помощью нового пакета yaplr.

Сначала установите его

devtools::install_github('adamryczkowski/yaplr') 

R номер сеанса 1:

library(yaplr) 
send_object(obj=1:10, tag='myobject') 
# Server process spawned 

R сессия № 2:

library(yaplr) 
list_objects() 
#   size     ctime 
# myobject 62 Sat Sep 24 13:01:57 2016 
retrieve_object(tag='myobject') 
# [1] 1 2 3 4 5 6 7 8 9 10 
remove_object('myobject') 
quit_server() 

Пакет использует bigmemory::big.matrix для эффективной передачи данных: при копировании большой объект между процессами R не производит ненужных копий: только одна сериализация и одна несериализация.

Не используются сетевые сокеты.