обнаружение музыкальных форм с помощью OpenCv на устройстве Android

Question

У меня есть задание на одном из моих классов. Мне нужно «сделать» музыкальный инструмент с телефоном. Я думал сделать что-то вроде этого:

есть музыкальный персонал на стене (или на доске). тогда пользователь может вставлять музыкальные ноты в этот штат и указывать свою телефонную камеру на эту стену. затем телефон обнаруживает музыкальные ноты (это может быть промежность или половина ноты, даже G cleff) и воспроизводит эту последовательность заметок в виде звуков. музыкальные ноты будут иметь одинаковый размер и цвет, потому что они не будут нарисованы, мы сделаем их из бумаги или картона.

Я обеспокоен тем, что можно обнаружить несколько пользовательских известных фигур (в данном случае кучу музыкальных нот) и их позиционирование относительно другого (в этом случае строки для персонала или самого персонала) с использованием openCv ; если нет, любая другая идея о том, как это сделать, была бы большой.

Возможно, вы могли бы указать мне направление на то, что искать в google, чтобы я начал заниматься этим вопросом. У меня есть 2 с половиной месяца, чтобы сделать этот проект (если это важно для вас, чтобы это узнать), поэтому я был бы признателен за любую помощь. заранее спасибо.

Answer 1

То, о чем вы просите, представляет собой общую идею о том, как это можно решить. Вот несколько мыслей, чтобы вы начали.

Во-первых, вам нужно определить, где находится музыкальная нота на изображении. Если вы знаете, что камера всегда будет статичной, вы можете использовать технику вычитания фона. Более строгим подходом было бы выявление музыкальных нот в изображении.

Посмотрите набор данных MNIST. У него есть куча рукописных цифр и соответствующая наземная правда. Вы можете начать здесь и распространить это на музыкальные ноты. Для начала, вы можете use k-nearest, чтобы классифицировать эти изображения.