компьютерное зрение: настройка сегментации. Потенциалы графа вырезания

Question

Я пытался научить себя некоторым простым алгоритмам компьютерного зрения и пытаюсь решить проблему, когда у меня есть искаженное изображение с шумом, и все, что я пытаюсь сделать, - это выделить черный фон с переднего плана, который имеет некоторый сигнал , Теперь фоновые RGB-каналы не все полностью равны нулю, поскольку они могут иметь некоторый шум. Тем не менее, человеческий глаз может легко отличить передний план от фона.

Итак, я использовал алгоритм SLIC, чтобы разбить изображение на суперпиксельные. Идея состоит в том, что, поскольку изображение повреждено, обработка статистики по патчам может привести к лучшей классификации фона и переднего плана из-за более высокого SNR.

После этого я получаю около 100 патчей, которые должны иметь схожий профиль, и результат SLIC кажется разумным. Я читал о сокращении графа (колмогоровская бумага), и мне показалось, что-то приятно попробовать для двоичной проблемы, которую у меня есть. Итак, я построил график, который является MRF первого порядка, и у меня есть ребра между непосредственными соседями (4-связный граф).

Теперь мне было интересно, какие возможные унарные и двоичные термины я могу использовать здесь для выполнения моей сегментации. Итак, я думал о унарном термине, я могу моделировать его как простой гауссовский, где фон должен иметь нулевую среднюю интенсивность, а передняя часть должна иметь некоторое ненулевое среднее значение. Хотя, я изо всех сил пытаюсь понять, как кодировать это. Должен ли я просто предположить некоторую дисперсию шума и вычислить вероятности непосредственно с использованием статистики патча?

Аналогичным образом, для соседних патчей я хочу поощрять их брать подобную метку, но я не уверен, какой бинарный термин я могу создать, что отражает это. Кажется, разница между меткой (1 или 0) кажется странной ...

Извините за надолго заданный вопрос. Надеясь, кто-то может дать полезный намек на то, как начать.

Answer 1

Вы можете создать свою модель CRF над суперпикселями, чтобы суперпиксел имел соединение с другим суперпикселем, если он является его соседом.

Для вашей статистической модели Pixel Wise Posteriors просты и дешевы для вычисления.

Итак, я предлагаю следующее для одинарных условий ХПН:

1. Сложение переднего плана и фона гистограммы над текстуры на пиксель (если у вас есть маска или разумное количество помеченных переднего плана пикселей (примечание, не суперпикселей)).
2. Для каждого суперпикселя сделайте предположение о независимости над пикселями внутри него, так что вероятность суперпикселей быть либо передним, либо фоном является продуктом по каждому наблюдению в суперпикселе (на практике мы суммируем логарифмы). Индивидуальные условия правдоподобия исходят из гистограмм, которые вы создали.
3. Вычислить заднюю часть переднего плана как совокупную вероятность, описанную выше для переднего плана, деленную на сумму кумулятивных правдоподобия обоих. Аналогично для фона.

Попарные термины между суперпикселями могут быть как простыми, как разница между средней наблюдаемой текстурой (pixelwise) для каждого пропускают через ядро, такие как Radial Basis Function.

В качестве альтернативы вы можете вычислить гистограммы по каждой наблюдаемой текстуре суперпикселей (опять же, по пикселям) и вычислить Bhattacharyya Distance между каждой соседней парой суперпикселей.