Как можно извлечь аудио из видео в HTML5?

Question

Как извлечь аудиодорожку из видео в HTML5 Javascript в качестве исходных аудиоданных? То есть массив образцов?

Я совершенно новичок в API HTML5 Video, поэтому пример будет замечательным.

Answer 1

Web Audio API - это именно то, что вы хотите. В частности, вы хотите подать MediaElementAudioSourceNode в AnalyserNode. К сожалению, API Web Audio реализован только в Chrome (несколько реализован в FF) и даже в Chrome doesn't have full support for MediaElementAudioSourceNode yet.

var context = new webkitAudioContext(); 

// feed video into a MediaElementSourceNode, and feed that into AnalyserNode 
// due to a bug in Chrome, this must run after onload 
var videoElement = document.querySelector('myVideo'); 
var mediaSourceNode = context.createMediaElementSource(videoElement); 
var analyserNode = context.createAnalyser(); 
mediaSourceNode.connect(analyserNode); 
analyserNode.connect(context.destination); 

videoElement.play(); 

// run this part on loop to sample the current audio position 
sample = new Float32Array(analyser.frequencyBinCount); 
analyser.getFloatFrequencyData(sample);