Сравните два аудиофайла

Question

В принципе, у меня есть много аудиофайлов, представляющих одну и ту же песню. Однако некоторые из них хуже качества, чем оригиналы, и некоторые из них редактируются там, где они больше не соответствуют оригинальной песне. То, что я хотел бы сделать, это программно сравнить эти аудиофайлы с оригиналом и посмотреть, какие из них соответствуют этой песне, независимо от качества. Прямое сравнение, очевидно, не будет работать, потому что качество файлов меняется.

Я считаю, что это может быть сделано путем анализа структуры песен и сравнения с оригиналом, но я ничего не знаю об аудиоинженерии, так что это не очень помогает. Все песни одного формата (MP3). Кроме того, я использую Python, поэтому, если есть привязки для него, это будет фантастично; если нет, то для JVM или даже для родной библиотеки было бы хорошо, если оно работает на Linux, и я могу понять, как его использовать.

Answer 1

Копирование that ответа:

точно такой же вопрос, что люди на старом Audioscrobbler и в настоящее время в MusicBrainz работали на давно. Пока что проект Python, который может помочь в вашем квесте, это Picard, в котором будут помечены аудиофайлы (а не только файлы MPEG 1 Layer 3) с GUID (фактически, несколько из них), и с этого момента, теги довольно просты.

Если вы предпочитаете делать это как собственный проект, может оказаться полезным помочь libofa. Возможно, вам понравится documentation for the Python wrapper.

Answer 2

Во-первых, вам нужно будет изменить свой домен сравнения. Анализ необработанных образцов из несжатых файлов не даст вам нигде. Ваша дистанционная мера будет основана на одной или нескольких функциях, которые вы извлекаете из образцов аудио. Википедия перечисляет следующие функции, как правило, используется для Acoustic Fingerprinting:

Перцепционных характеристики часто эксплуатируемых аудио отпечатков пальцев включают среднюю скорость пересечения нуля, по оценкам, темп, средний спектр, спектральная плоскостность, видные тона по всей совокупности полос, а также ширину полосу частот.

У меня нет программных решений для вас, но вот interesting attempt при обратном проектировании системы идентификации аудио YouTube. Он используется для обнаружения нарушений авторских прав, аналогичная проблема.

Answer 3

На самом деле это не тривиальная задача. Я не думаю, что любая готовая библиотека может это сделать. Вот возможный подход:

1. Декодировать mp3 для PCM.
2. Убедитесь, что данные PCM имеют определенную частоту дискретизации, которую вы выбираете заранее (например, 16 кГц). Вам нужно будет перепрограммировать песни с разной частотой дискретизации. Высокая частота выборки не требуется, так как в любом случае вам нужно нечеткое сравнение, но слишком низкая частота дискретизации потеряет слишком много деталей.
3. Нормализовать данные PCM (т. Е. Найти максимальное значение выборки и масштабировать все образцы, чтобы образец с наибольшей амплитудой использовал весь динамический диапазон формата данных, например, если формат образца подписан 16 бит, то после нормализации максимальная амплитуда образца должна иметь значение 32767 или -32767).
4. Разделить аудиоданные на кадры с фиксированным числом выборок (например, 1000 выборок на кадр).
5. Преобразование каждого кадра в область спектра (FFT).
6. Рассчитать корреляцию между последовательностями кадров, представляющими две песни. Если корреляция больше определенного порога, предположите, что песни одинаковы.

Python библиотеки:

• PyMedia (для шага 1)
• NumPy (для обработки данных) - также см this article для некоторой вводной информации

Дополнительное осложнение. Вначале ваши песни могут иметь разную тишину.Поэтому, чтобы избежать ложных негативов, может потребоваться дополнительный шаг:

3.1. Сканируйте данные PCM с самого начала, пока звуковая энергия не превысит предопределенный порог. (Например, вычислить RMS с скользящим окном из 10 выборок и остановиться, когда он превышает 1% от динамического диапазона). Затем отбросьте все данные до этой точки.