Unity3D - распознавание номера OCR

Question

Наш первоначальный вариант использования предназначен для написания приложения в Unity3D (запись исключительно на C# и одновременное развертывание как на iOS, так и на Android), что позволило пользователю мобильного телефона держать свою камеру до названия журнала статью, используйте OCR, чтобы прочитать заголовок, а затем мы обработаем этот заголовок на сервере, чтобы получить связанные истории. Vuforia был далеко и далеко лучшим для этого случая использования из-за его быстрого нативного распознавания символов.

После того, как первоначальное приложение было демонтировано немного, появилось больше потенциальных применений. Любой прецедент, который должен был распознавать только символы A-z, был легким в Vuforia, но во-вторых, он требовал признания номера, который нам приходилось искать в другом месте, потому что Vuforia не поддерживает распознавание номера (сейчас или где-нибудь в ближайшем будущем).

Покушение Обходные:

1. Google Cloud Vision - работает, но не родной и камеры изображения иногда довольно большой, поэтому не так быстро, как нам нужно. Даже подумал об использовании актива Unity OpenCV, чтобы идентифицировать номера, а затем отправить несколько гораздо меньших вызовов API, но все же не является родным и одним дополнительным шагом.
2. Следующие инструкции от SO для использования .Net-оболочки для Tesseract - вероятно, будут работать отлично, но после создания и попыток переноса внешних DLL в Unity я получаю эту ошибку .Net Assembly Not Found (скорее всего, проблема с версией .Net. dll были скомпилированы в).
3. Установите Tesseract из источника на сервере, а затем создайте наш собственный API - честно непонятно, почему мы это попробовали, когда Google работает так хорошо и активно поддерживается.

Кто-нибудь сталкивался с этой проблемой в Unity и в конечном итоге нашел хорошее решение?

Answer 1

Vuforia на самом деле не предоставляет никакой системы для обнаружения чисел, просто букв. Чтобы решить эту проблему, я следовал следующей стратегии (только для чисел рядом с общим изображением):

1. Распознать изображение.
2. Захват снимка экрана сразу после распознавания целевого изображения (этот скриншот должен содержать номера).
3. Отправьте скриншот на веб-службу OCR и получите ответ.
4. Извлечь числа из ответа.
5. Используйте эти цифры, чтобы делать все, что вам нужно, и показывать информацию AR.

Этот подход решает эту проблему, но это не работает как шарм. Их успех зависит от качества снимка экрана и службы OCR.