Обработка звука в реальном времени

Question

Вот что мне нравится:

Мне нравится играть в создании «новых» программных/аппаратных инструментов. Обработка и создание звука всегда управляется программным обеспечением. Например, можно играть на инструменте с помощью ультразвукового датчика расстояния. Еще одна идея - начать воспроизведение, когда кто-то прерывает свет фотоэлектрического барьера и т. Д.

Таким образом, инструмент будет воспроизводить обычные звуки, но должен использоваться неуправляемым образом. Например, ультразвуковой прибор воспроизводит звук, если он обнаруживает что-то на определенном расстоянии. Звук можно было бы манипулировать с шагом, например, если расстояние становится меньше.

В принципе, мне нравится воспроизводить звуковой образец и манипулировать этим в реальном времени.

Думаю, мне нужно использовать образцы WAV для этого, не так ли? И какой язык программирования, по вашему мнению, подходит лучше всего для этой задачи?

Отредактировано после подсказки кевинов: пожалуйста, ударьте меня в правильном направлении - дайте мне подсказку, с чего начать.

Заранее спасибо

Answer 1

Поскольку вы используете при обработке тега, вы можете попробовать Processing. Он поставляется с звуковой библиотекой, например Minim, или вы можете установить beads, что отлично. Там на самом деле хорошая книга на нем: Sonifying Processing

Вы можете найти SuperColider удовольствие, как хорошо.

Главное, что вам нравится в данный момент? Если синтаксис обработки выглядит пугающе, вы можете попробовать другую парадигму программирования, такую ​​как поток данных. В этом случае вы можете использовать PureData (бесплатный, с открытым исходным кодом) или MaxMSP (очень похожий, но коммерческий). Идея заключается не в том, чтобы вводить инструкции, вы подключаете ящики с проводами, что интересно, и примеры тоже велики.

Если вы находитесь на C++, существует множество библиотек. С творческой стороны есть хороший набор библиотек под названием OpenFrameworks, который легко и интересно использовать. Если это ваша чашка чая, загляните в Maximilian.

Нижняя линия: существует несколько вариантов для достижения одной и той же задачи. Выберите лучший инструмент для своего (на основе вашего фона) или попробуйте каждый и посмотрите, что вам больше нравится.

Answer 2

Вы спросили: «И какой язык программирования вы считаете лучшим для этой задачи?» - Я бы также предложил использовать Обработку. Я использовал обработку для работы со звуками ранее. И во всех случаях я использовал Minim. Он имеет много UgenS, чтобы генерировать звуки программно.

Кроме того, вы хотите интегрироваться с некоторыми датчиками. Я не уверен, какие типы датчиков вы будете использовать, но обработка неплохо подходит для разных модулей и датчиков Arduino. Проверьте это link для большего направления.

Кроме того, вы можете экспортировать проект как .exe или исполняемые файлы .jar. И их версия JS (P5.js) работает почти так же, как версия Java.