Частичная десериализация и сериализация в Java?

Question

Существует огромное количество библиотек и подходов для сериализации и де-сериализации объектов в Java. То, что я хотел бы сделать, включает в себя довольно большие и сложные объекты, которые необходимо отправлять туда и обратно между обрабатывающими узлами.

Однако каждый узел интересуется только одной или несколькими, как правило, небольшими частями всего объекта. Процессорный узел обрабатывает эту часть и создает новую часть, которая должна быть подключена к существующему сериализованному объекту до его отправки.

Для этого две вещи будут иметь большое значение:

• будучи в состоянии только десериализации части сериализованного объекта (и, таким образом, сохранить разборе/время десериализации, время создания объекта, память ...) и также добавить сериализацию какой-либо новой части к существующему сериализованному объекту (снова экономя время и память). Пропуск нежелательных частей в сериализованной версии должен быть чрезвычайно быстрым и эффективным и в идеале должен быть возможен в потоковом режиме без необходимости чтобы сохранить все последовательные данные в памяти сразу
• полная компактная и быстрая сериализация и десериализация.

Я довольно гибко отношусь к тому, насколько автоматизирован процесс создания типизированных объектов по сравнению с нетипизированными картами и списками: если все остальное не получится, я смог бы представить весь объект в виде вложенной структуры данных только для карт, массивы и базовые типы данных boolean, String и Number.

ОБНОВЛЕНИЕ: забыл упомянуть два дополнительных, весьма важных требований:

• решение должно быть возможным с существующими объектами, т.е. не представляется возможным повторно реализовать текущий объект с использованием, например, класс разных коллекций.

• В идеале решение должно основываться на программном обеспечении с открытым исходным кодом, поскольку программное обеспечение, в котором я нуждаюсь, будет опубликовано как открытый источник.

Answer 1

Это звучит, как вы планируете дизайн, где целая куча данных посылается в узел обработки, и этот узел будет только для чтения/изменения/записи небольшую часть. Но затем отправит весь пакет на другой узел.

Почему бы не иметь хост, у которого есть все данные, выяснить, какой узел нуждается в данных и отправлять только эти данные? Тогда обработка может происходить параллельно, а не в цепочке. И ваш общий сетевой трафик будет меньше, чем каждый узел, отправляющий полную копию всего: O (n * m).

Возможно, стоит разработать собственный формат сообщений, основанный на JSON, двоичном или другом.