Синхронизация screencasting (ffmpeg) и захват с веб-камеры (OpenCV)

Question

Как и в моих предыдущих вопросах, я пытаюсь создать простой трекер для глаз. Решил начать с версии Linux (запустите Ubuntu).

Чтобы выполнить эту задачу, необходимо организовать скринкастинг и захват веб-камеры таким образом, чтобы кадры из обоих потоков точно совпадали друг с другом и в каждом из них было одинаковое количество кадров.

Screencasting fps полностью зависит от fps камеры, поэтому каждый раз, когда мы получаем изображение с веб-камеры, мы можем потенциально захватить рамку экрана и оставаться счастливой. Тем не менее, все инструменты быстрого screencasting, например ffmpeg, возвращают файл .avi в качестве результата и требуют уже известных fps.

С другой стороны, для таких инструментов, как Java + Robot или ImageMagick, требуется около 20 мс, чтобы вернуть снимок .jpg, что довольно медленно для задачи. Но они могут быть запрошены сразу после каждого захвата кадра веб-камеры и обеспечения необходимой синхронизации.

Так подвопросы являются:

1. Изменяется ли частота кадров USD камеры во время одной сессии?
2. Есть ли какие-либо инструменты, которые обеспечивают быструю скринкастизацию кадр за кадром?
3. Есть ли способ сделать ffmpeg нажимать новый кадр на файл .avi только тогда, когда программа инициирует этот запрос?

Для моей задачи я могу либо использовать C++, либо Java.

Я, на самом деле, дизайнер интерфейса, а не программист-драйвер, и эта задача выглядит довольно низкоуровневой. Я был бы благодарен за любое предложение и подсказку!

Answer 1

Используйте функцию cvGetCaptureProperty(CvCapture* capture, int property_id) от HighGUI от OpenCV с помощью property_id = CV_CAP_PROP_FPS, чтобы определить количество кадров в секунду, захваченных вашей веб-камерой.

Пример использования:

CvCapture *capture = 0; 
double fps = 0.0; 

capture = cvCaptureFromCAM(0); 
fps = cvCaptureProperty(capture, CV_CAP_PROP_FPS);