Структура каталогов в Kryo или других библиотеках сериализации Java

Question

Я пытаюсь найти способ сериализации данных со структурой каталогов в Java. Данные, которые я хотел бы сохранить, - это биржевые рекорды, каждая из которых состоит из названия запаса, цены, времени и объема. Я знаю, как сериализовать такие записи (экземпляры класса «Торговля») без какой-либо иерархической структуры, но мне пришлось бы пройти через все, скажем, миллиарды записей, чтобы собирать данные для одного конкретного запаса при чтении. Таким образом, я хотел бы, чтобы данные были разделены по имени запаса, поэтому у меня было бы гораздо более высокая производительность чтения, когда вам нужны данные всего за несколько акций.

Я знаю, что вы можете создавать такие иерархические структуры (каталоги) в HDF5, но я ищу библиотеку сериализации Java, которая не использует JNI и более HDFS-совместима. После некоторого онлайн-поиска я обнаружил, что Kryo была одной из самых новых и простых в использовании библиотек сериализации Java. Поэтому я надеюсь, что есть какой-то способ создать структуру каталогов в файлах Kryo, но будут работать и другие современные библиотеки сериализации, такие как Avro, Thrift.

Благодарим за помощь.

Answer 1

Возможно, слишком поздно, но в случае, если вам все еще нужно, вы можете взглянуть на библиотеку dfs-datastores, разработанную Nathan Marz. Вы можете определить собственное хранилище данных с точки зрения структуры папок, вот ссылка https://github.com/nathanmarz/dfs-datastores/tree/develop/dfs-datastores/src