Подавать тренированную модель Tensorflow с REST API с использованием Flask?

Question

У меня есть обучаемая модель Tensorflow, и я хочу использовать метод прогнозирования с помощью REST API. Я могу подумать о том, чтобы использовать Flask для создания простого REST API, который получает JSON в качестве входных данных, а затем вызывает метод прогнозирования в Tensorflow и затем возвращает прогнозируемый результат на стороне клиента.

Я хотел бы знать, есть ли какие-либо проблемы с этим, особенно в производственной среде?

Большое спасибо!

Answer 1

Первой проблемой, которая приходит мне в голову, является производительность.

Команда TensorFlow, похоже, разработала использование сервера/клиента. Возможно, вы захотите изучить tensorflow serving. По умолчанию используется протокол gRPC для протокола связи.

Answer 2

Мы используем Flask + TensorFlow, работающий на работе. Наша установка может быть не самым оптимальным способом обслуживания моделей, но она выполняет свою работу, и она до сих пор отлично подходит для нас.

Установка заключается в следующем:

1. Поскольку tfserving принимает навсегда построить, мы построили Docker изображение (не поддержка GPU или что-нибудь, но это работает только служить моделью, и это быстрее и лучше, чем служить это непосредственно из огромного монолита Python/Flask). Изображение сервера модели можно найти здесь: https://hub.docker.com/r/epigramai/model-server/
2. Затем Flask используется для настройки API. Чтобы отправлять запросы на сервер модели, нам нужен клиент прогнозирования grcp, поэтому мы построили его на Python, который мы можем импортировать непосредственно в API флешки, https://github.com/epigramai/tfserving_predict_client/.

Хорошо, что модель не обслуживается прикладной программой Flask API. Сервер модели изображения докеров можно легко заменить на сервер модели, работающий на графическом процессоре, скомпилированном для аппаратного обеспечения машин, а не в контейнере докеров.