Расчет центральной точки для локализации робота в 3D-данных

Question

Я пытаюсь найти надежный метод расчета угловых точек контейнера. Из идеи этой угловой точки является вычисление центральной точки контейнера для локализации робота, это означает, что вычисленная центральная точка будет местом назначения робота, чтобы выбрать контейнер. Для этого я ищу любые предложения по вычислению угловых точек или может быть, если есть возможность непосредственно вычислить точку центра. До этого момента для обработки 3D-данных используется библиотека PCL C/C++. Изображение ниже - снимок экрана контейнера.
заранее.

afterApplyingPassthrough

Answer 1

Я предполагаю, что колеса поддерживают тележку известным смещением от пола, и вы можете определить пол.Отфильтруйте все точки, которые находятся слишком близко к полу (это приведет к удалению колес и всего, кроме тележки, что поможет ограничить данные и упростить последующие шаги.

Если вы изолируете тележку, вы можете применить простую среднюю точку (центроид) , поочередно, если это неточно, вы можете попробовать найти bounding box изолированной тележки (min max в основных направлениях), а затем взять центр тяжести этого ограничивающего прямоугольника (это должно быть более точным, но все равно потребуется небольшое вертикальное смещение из-за верхних ручек).

Если вы не можете изолировать корзину или другие методы не работают, вы можете попробовать использовать PCL sample consensus именно SACMODEL_LINE. Это будет задействованная стратегия, но даст очень солидные результаты, основополагающие пройдите и найдите каждую строку и вычтите ее элементы из облака, чтобы найти следующую лучшую строку. После того, как у вас есть 4 первичные линии корзины, используйте их параметры, чтобы найти ваш центр тяжести. * это также было бы надежным против случайных предметов, находящихся в или на тележке, а также тележек разного размера (при условии, что они всегда имели линейные перпендикулярные стены)

Answer 2

Я сделал следующие вещи:

• Я бинаризуется изображение (черные пикселей = 0, зеленый пикселей = 1),
• инвертируется изображение (черные пиксели = 1, зеленый пикселей = 0),
• размыл изображение с ядром 3x3 N-раз и расширил его одним и тем же ядром М-раз.

Слева: N = 2, М = 1; Справа: N = 6, М = 6

После этого:

• Я вычислен контуры всех не -zero area и
• удалил контур, который окружал все изображение.

Это такие контуры, которые остались:

Я не знаю, как «типичный» входное изображение выглядит как в вашем случае. Поскольку у меня только есть доступ к одному образцу, я предпочел бы не спекулировать о «общем решении», которое вам подходит. Но решить этот частный случай, вы могли бы проанализировать каждый контур следующим образом:

• вычислить rotatated прямоугольника, который подходит лучше всего вокруг контура (вам нужно что-то похожее на minAreaRect from OpenCV)
• вычислительной области прямоугольника и контур интерьера
• Если разница между площадью контура и площадью поворотного ограничивающего прямоугольника мала, контур имеет приблизительно прямоугольную форму
• найти контур, который является прямоугольным и удовлетворяет некоторым другим условиям (например: типичная площадь контейнера). Предположим, что это принадлежит контейнеру и вычислить его центр.

Я не утверждаю, что это решение, которое будет хорошо работать в реальных сценариях. Это также не быстро. Вы должны просмотреть его как «эскиз», который показывает, как извлечь полезную информацию.