Tensorflow Inception v3 переподготовка - прикрепить текст/ярлыки к отдельным изображениям

Question

Я использую начальную модель v3 для перепрограммирования своего собственного набора данных. У меня есть небольшая папка, которая представляет классы, содержащие изображения для каждого класса. То, что я хотел бы сделать, это «прикрепить» некоторые текстовые идентификаторы к этим изображениям, поэтому, когда они переучиваются и используются для определения классификации/сходства, эти идентификаторы также извлекаются. (в основном его обнаружение подобия изображения)

Например, изображение X относится к классу «Учителя», и оно принадлежит Джону. Когда я переучиваю модель и запускаю классификацию на новой модели, я бы хотел получить класс преподавателей, но в дополнение к этому я хотел бы узнать, кто учитель (Джон).

Любые идеи, как это сделать?

С уважением

Answer 1

У вас есть 3 основных варианта - умножать свои классы, обучающие мульти-этикетки или учебные несколько моделей.

Первый вариант - самый прямой - вместо учителей, принадлежащих к Иоанну, и учителей, принадлежащих к Джейн, вы можете иметь учителей, чей класс - Учитель_Джон и класс, чей класс - Учитель_John, и учитесь классифицировать эти категории, как вы узнает любой другой набор категорий или использует что-то вроде иерархического softmax.

Второй вариант состоит в том, чтобы иметь набор категорий, включающий Учителей, а также Джона и Джейн - теперь ваша цель не в том, чтобы правильно предсказать один наиболее точный класс (Учителя), но несколько (Учителя и Иоанн).

Ваш последний вариант - создать иерархию моделей, в которых первый учится различать между Джоном и Джейн и другими, чтобы классифицировать внутренние классы для каждого из них.