MemoryError при запросе базы данных из процесса

Question

Я пытаюсь создать программу с 3 процессами, которые читаются из одной базы данных. Код работал до того, как я начал внедрять процессы.

Я получаю MemoryError при выполнении select() от PeeWee, я подозреваю, что что-то не так с совместным использованием ресурсов. Минимальный пример:

models.py

from playhouse.pool import PooledSqliteExtDatabase 

file_scanner_database = PooledSqliteExtDatabase(
    None, 
    max_connections=32, 
) 

class FileModel(Model): 
    class Meta: 
     database = file_scanner_database 

main.py

from file_scanner import FileScanner 
from models import file_scanner_database 
from models import FileModel 
from multiprocessing import Process 

def create_scanner_agent(data): 
    scanner = FileScanner(data) 
    scanner.start_scanner() 

shared_info = {'db_location': '/absolute/path/to/database'} 

file_scanner_database.init(shared_info['db_location']) 
file_scanner_database.connect() 
file_scanner_database.create_tables([FileModel], safe=True) 

new_process = Process(
    target=create_scanner_agent, 
    args=(shared_info,) 
) 
new_process.daemon = True 
new_process.start() 

try: 
    new_process.join() 
except KeyboardInterrupt: 
    pass 

new_process.terminate() 

file_scanner.py

from models import file_scanner_database 
from models import FileModel 

class FileScanner: 
    def __init__(self, data): 
     for k, v in data.items(): 
      setattr(self, k, v) 

     file_scanner_database.init(self.db_location) 
     file_scanner_database.connect() 

    def start_scanner(self): 
     while True: 
      # THIS IS WHERE THE PROGRAM CRASHES 
      for row in FileModel.select(): 
       ... 

Answer 1

It похоже, вы пытаетесь получить доступ к памяти через вилку? Или какое-то такое безумие? Я думаю, что ответ заключается в том, что вы делаете это неправильно. Попробуйте открыть соединение с БД после вилки.