Обнаруживать аудио пользователя и преобразовывать его в текст, чтобы командовать ботами AI в Unity

Question

Я делаю игру, где хочу командовать ИИ с помощью слова, которое я говорю. Скажем, например, я могу сказать, что и бот ИИ идет на определенное расстояние.

Вопрос: Я нахожу актив, и ни один провайдер не дает мне грантополучателя, что это возможно?

Каковы трудности для этого?

Я программист, поэтому, если кто-то предложит способ справиться с этим, я могу это сделать.

Должен ли я все время прослушивать микрофон и читать аудио, а затем передавать аудио на какой-либо внешний SDK, который может преобразовать мой голос в текст?

Это поставщик услуг, с которым я связался.

https://www.assetstore.unity3d.com/en/#!/content/73036

https://www.assetstore.unity3d.com/en/#!/content/45168

https://www.assetstore.unity3d.com/en/#!/content/47520

и немного больше! Если кто-то просто объясняет шаги, которые мне нужно выполнить, я могу попробовать это точно.

Answer 1

настоящее время я использую этот внешний API для почти то же самое: https://api.ai/

Он поставляется с SDK единства, который работает достаточно хорошо: https://github.com/api-ai/api-ai-unity-sample#apiai-unity-plugin

Вы должны подключить источник звука к SDK , и попросите его начать слушать. Затем он преобразует ваш голос в текст и даже обнаруживает заранее выбранные намерения из вашего голосового аудио/текста.

Вы можете найти все шаги по интеграции плагина единства в документации api.ai Unity SDK на github.

EDIT: Это тоже бесплатно кстати :)

Answer 2

Если вы хотите узнать в автономном режиме без отправки данных на сервер, вы должны попробовать этот плагин:

https://github.com/dimixar/unity3DPocketSphinx-android-lib

Он использует источник речь открытой распознавание двигателя CMUSphinx