Как запустить Flask с Gunicorn в многопоточном режиме

Question

У меня есть веб-приложение, написанное в Flask. Как было предложено всеми, я не могу использовать Flask в производстве. Так что я подумал о Gunicorn с флягой.

В приложении Flask Я загружаю некоторые модели машинного обучения. Они имеют размер 8 ГБ в совокупности. Параллельность моего веб-приложения может идти до 1000 запросов. И ОЗУ машины составляет 15 ГБ.
Итак, что является лучшим способом запуска этого приложения?

Answer 1

Вы можете запустить свое приложение с несколькими работниками или асинхронными рабочими с помощью Gunicorn.

Колба server.py

from flask import Flask 
app = Flask(__name__) 

@app.route("/") 
def hello(): 
    return "Hello World!" 

if __name__ == "__main__": 
    app.run() 

Gunicorn с GEvent асинхронном работника

gunicorn server:app -k gevent --worker-connections 1000 

Gunicorn 1 работника 12 потоков:

gunicorn server:app -w 1 --threads 12 

Gunicorn с 4 рабочими (многопроцессорных):

gunicorn server:app -w 4 

Дополнительная информация о Flask concurrency в этом сообщении: How many concurrent requests does a single Flask process receive?.