Переподготовка подход к НЖК или R & R

Question

Земля истина, которую мы знаем, используется для переучивать НЖК или R & R.

Первый истина является подготовка данных на уровне вопрос.

например.

«Как жарко сегодня?, Температура»

вопрос «как горячий это сегодня?» поэтому классифицируется как «температура».

После того, как приложение будет завершено, будут получены реальные пользовательские вопросы. Некоторые из них одни и те же (т. Е. Вопрос от реальных пользователей совпадает с вопросом в основной истине), некоторые из них - схожие термины, некоторые - новые вопросы. Предположим, что приложение имеет петлю обратной связи, чтобы узнать, соответствуют ли класс (для NLC) или ответ (для R & R).

About the new questions, the approach seems to just add the them to the ground truth, which is then used to re-train the NLC/R&R? 
For the questions with similar terms, do we just add them like the new questions, or do we just ignore them, given that similar terms can also be scored well even similar terms are not used to train the classifier? 
In the case of the same questions, there seems nothing to do on the ground truth for NLC, however, to the R&R, are we just increase or decrease 1 for the relevance label in the ground truth? 

Основной вопрос здесь, в общем, о том, что переквалификация подход для НЖК & R & R ...

Answer 1

После того, как приложение пошел жить, вы должны периодически просматривать свой отзыв журнал для возможностей для улучшения. Для NLC, если есть некорректно классифицированные тексты, вы можете добавить эти тексты в учебный набор и переквалифицироваться, чтобы улучшить классификатор.

Нет необходимости записывать все мыслимые изменения класса, если ваш классификатор возвращает приемлемые ответы.

Вы можете использовать дополнительные примеры классов из своего журнала, чтобы собрать тестовый набор текстов, которые не используются в вашем учебном наборе. Выполнение этого тестового набора при внесении изменений позволит вам определить, случайно или не вызвало изменение в результате регрессии. Вы можете запустить этот тест либо путем вызова классификатора с помощью клиента REST, либо с помощью набора инструментов для классического языкового классификатора Beta.

Answer 2

Твердый подход к переподготовке должен получать обратную связь от живых пользователей. Тестирование и валидация любого пересмотренного NLC (или R R в этом отношении) должны руководствоваться некоторыми принципами, изложенными здесь Джеймсом Равенкрофтом (https://brainsteam.co.uk/2016/03/29/cognitive-quality-assurance-an-introduction/).

The answer автор @davidgeorgeuk является правильным, но не может расширить мысль до вывода, который вы ищете. У меня был бы ежемесячный набор действий, где я мог бы просматривать журналы приложений, в которых пользователи REAL указывают, что вы не классифицируете вещи правильно, а также включаете в свой классификатор любые новые классы. Я бы переучивал второй экземпляр NLC с новыми данными и рассмотрел описанные выше тестовые сценарии.

После того, как вы удовлетворены тем, что у вас УЛУЧШИЛА свою модель, я бы переключил свой код, чтобы указать на новый экземпляр NLC, а старый экземпляр NLC будет вашим экземпляром «резервной копии», и тот, который вы будете использовать для это упражнение в следующем месяце. Это просто применение простого подхода DevOps к управлению вашими экземплярами NLC. Вы могли бы расширить это до сценария разработки, QA, если хотите.