Обмен памятью в Гуйкенкорне?

Question

У меня есть большая структура данных только для чтения (график, загруженный в networkx, хотя это не должно быть важно), который я использую в своей веб-службе. Вебсервис построен в Flask, а затем подается через Gunicorn. Оказывается, для каждого рабочего-стрелялка я раскручиваюсь, у него работает собственная копия моей структуры данных. Таким образом, моя структура данных размером ~ 700 Мб, которая отлично управляема с одним рабочим, превращается в довольно крупную память, когда у меня есть 8 из них. Есть ли способ поделиться этой структурой данных между процессами пушки, так что мне не нужно тратить столько памяти?

Answer 1

Похоже, что самый простой способ сделать это - tell gunicorn to preload your application с использованием опции preload_app. Это предполагает, что вы можете загрузить структуру данных в качестве переменного уровня модуля:

from flask import Flask 
from your.application import CustomDataStructure 

CUSTOM_DATA_STRUCTURE = CustomDataStructure('/data/lives/here') 

# @app.routes, etc. 

В качестве альтернативы, вы можете использовать memory-mapped file (если вы можете обернуть разделяемую память с пользовательской структурой данных), gevent with gunicorn для того, чтобы вас используйте только один процесс или the multi-processing module to spin up your own data-structure server, с которым вы подключаетесь к IPC.