Передача изображения между C++ и Java через Socket

Question

Я хочу передать изображение из приложения Java в приложение C++. Я использую сокеты в качестве метода связи, и на данный момент это хорошо работает со строками.

Я хочу, чтобы иметь возможность передавать его в обоих направлениях (Java < -> C++).

Изображение НЕ является файлом, это объект/структура памяти. Поэтому моя основная проблема заключается в том, как кодировать изображение для передачи, чтобы его можно было использовать в Java и на C++.

Передача осуществляется на одном компьютере (нет сети, поэтому скорость не является критичной), но тем не менее, чем быстрее/эффективнее, тем лучше.

Спасибо

Примечание: Я использую OpenCV в C++, и главная цель состоит в том, чтобы обрабатывать поток веб-камеры. Я не могу/не могу использовать JavaCV или что-то в этом роде!

Answer 1

Как насчет отправки байтов RGB. Вы можете получить байты RGB из BufferedImage, а затем отправить его на свой уровень C++ в виде байтового массива. А затем в слое C++ верните изображение, используя этот массив байтов.

Answer 2

Вы должны либо использовать общий формат переносимого изображения (например, .png, .gif, .jpg, .bmp), имея в виду, что некоторые из них являются потерями, либо вы должны отправлять необработанные пиксельные данные. Если вы отправляете необработанные данные, вам также необходимо убедиться, что оба конца знают высоту и ширину изображения, а формат пикселей (то есть порядок каналов R, G, B и, возможно, A и количество бит для каждого). Возможно, вам нужно сообщить об этом как часть сообщения, но, возможно, для вашего приложения некоторые из этих вещей всегда одинаковы.

Answer 3

Использование эффективного межпотокового формата обмена данными, такого как Google protobuf, может быть решением. Protobuf позволяет менять местами объекты изображения, как это:

// Java image class 

class Image { 
    // ... 
    byte[] getImageData() { 
     return imageData_; 
    } 

    int getVersion() { 
     return version_; 
    } 
    // ... 
} 

объектов изображения можно сериализовать с помощью следующего Protobuf сообщения:

message ImageMsg { 
    required int32 version = 1; 
    required bytes imageData = 2; 
} 

Protobuf компилятор будет генерировать Java и C++ классов из этого определения. От Java вы сериализовать изображение как объект ImageMsg:

Image img; 
// ... 
ImageMsg.Builder msg = ImageMsg.newBuilder(); 
msg.setVersion(img.getVersion()); 
msg.setImageData(img.getImageData()); 
// The output stream could point to a file, socket, pipe or something else. 
msg.writeTo(someOutputStream); 

На стороне C++, прочитанной назад объект из потока:

std::istream* is; 
// initialize istream 

ImageMsg msg;  
msg.ParseFromIstream(istream); 
Image img(msg.getVersion(), msg.getImageData()); 

Также возможно сделать обратное, т.е. отправить объект изображения с C++ на Java.