Распознавание объектов на Android-камере

Question

Я хочу создать приложение для камеры Android с распознаванием объектов в реальном времени (аналогично распознаванию лиц). Я знаю, что распознавание объектов сложнее, чем распознавание лиц, поэтому я хочу использовать алгоритм распознавания объектов для машинного обучения на сервере и отправлять с android на серверные кадры, которые будут обрабатываться сервером и возвращать имя объекта что было найдено.

В настоящее время сервер получает изображение как параметр и ответ с объектами на картинке, и я думал использовать Camera.PreviewCallback и onPreviewFrame() для отправки фрейма на сервер (устарел на уровне API 21). Или мне нужно что-то делать с video streaming from android to server?

Может кто-нибудь объяснить, если это возможно, и что это лучший способ сделать это?

Answer 1

Вы можете сделать распознавание объектов либо на устройстве, либо, как вы предлагаете, в облаке - преимущество последнего - гораздо большая вычислительная мощность, хотя это необходимо сбалансировать с необходимостью отправки изображений к серверу.

Для обоих подходов есть несколько известных библиотек или служб, на которые стоит обратить внимание, чтобы они соответствовали вашим потребностям.

Для на устройстве:

• http://opencv.org/platforms/android.html (в частности: http://docs.opencv.org/3.1.0/d5/d54/group__objdetect.html#gsc.tab=0)

Для стороне сервера может быть хорошо, чтобы начать принимать взглянуть на сервис Cloud видение Google:

• https://github.com/GoogleCloudPlatform/cloud-vision/blob/master/android/README.md