IBM Bluemix - визуальное распознавание. Почему низкие баллы?

Question

Я использую службу Visual Recognition для IBM Bluemix.

Я создал несколько классификаторов, в частности, два из них с этой целью:

• первый: «общий» классификатор, который должен вернуть счет доверия о признании того или иного объекта на изображении , Я подготовил его с 50 положительными примерами объекта и 50 отрицательными примерами чего-то похожего на объект (его детали, его компоненты, изображения и т. Д.).
• second: более конкретный классификатор, который распознает конкретный тип объекта, указанного ранее, если оценка первой классификации достаточно высока. Этот новый классификатор был обучен как первый: 50 положительных примеров объекта типа A, 50 отрицательных примеров объекта типа B. Эта вторая категоризация должна быть более конкретной, чем первая, поскольку изображения более детализированы и все они схожи между собой.

Результатом является то, что два классификатора работают хорошо, и ожидаемые результаты определенного набора изображений в большинстве случаев соответствуют истине, и это должно означать, что оба они хорошо обучены.

Но есть вещь, которую я не понимаю.

В обоих классификаторах, если я попытаюсь классифицировать одно из изображений, которые использовались в положительном наборе тренировок, я ожидаю, что показатель доверия должен быть около 90-100%. Вместо этого я всегда получаю оценку, которая входит в диапазон от 0,50 до 0,55. То же самое происходит, когда я пытаюсь создать изображение, очень похожее на один из позитивных наборов тренировок (масштабированный, отраженный, вырезанный и т. Д.): Уверенность никогда не превышает 0,55.

Я попытался создать аналогичный классификатор с 100 положительными изображениями и 100 отрицательными изображениями, но конечный результат никогда не изменится.

Вопрос в том, почему рейтинг доверия настолько низок? почему он не близок к 90-100% с изображениями, используемыми в положительном наборе тренировок?

Answer 1

Оценки пользовательских классификаторов Visual Recognition варьируются от 0.0 до 1.0, но они не имеют единицы измерения и не являются процентами или вероятностями. (Они не добавляют до 100% или 1,0)

Когда служба создает классификатор из ваших примеров, она пытается выяснить, что отличает функции одного класса positive_examples от других классов положительных_пример (и negative_examples , если дано). Оценки основаны на расстоянии до границы решения между положительными примерами для класса и всего остального в классификаторе. Он пытается откалибровать результат оценки для каждого класса, так что 0.5 является приличным порогом принятия решения, чтобы сказать, принадлежит ли что-то классу.

Однако, учитывая баланс затрат и выгод от ложных тревог и пропущенных обнаружений в вашем приложении, вы можете использовать более высокий или более низкий порог для определения того, принадлежит ли изображение классу.

Не зная специфики ваших примеров классов, я могу догадаться, что между вашими классами существует значительное сходство, возможно, в пространстве возможностей ваши примеры не находятся в отдельных кластерах и что оценки отражают эту близость к граница.