У нас есть большой набор данных исторических транзакций, и у нас есть система, которая должна проверять новые транзакции на каждую историческую транзакцию в этом наборе данных.Кэширование большой таблицы поиска в памяти JVM
Это включает в себя выполнение алгоритма для каждой исторической транзакции, которая производит сопоставление результатов с новой транзакцией. Это означает, что транзакции выполняются последовательно, и мы не можем использовать индексирование или хеширование, чтобы попытаться уменьшить количество транзакций, которые необходимо проверить.
Пара других точек, транзакции всегда добавляются в набор данных, и они никогда не выселяются. Кроме того, мы распределяем обработку путем разделения набора данных между рабочими на разных серверах.
В настоящее время система использует класс Java Collection для кэширования набора данных транзакций в памяти. Это связано главным образом с требованиями скорости, поскольку обеспечивает быстрый последовательный доступ к транзакциям.
Что бы я хотел знать, есть ли какие-либо системы кеширования, такие как EHCache, которые помогут нам распространять набор данных на разных серверах, но при этом обеспечить быстрый последовательный доступ к записям в кеше.
могут ли эти «вычислительные сравнения» сводиться к простым байтовым операциям? если да, то, может быть, вы могли бы просто сбросить их на диск и записать в память файлы в кусках? – the8472
«работает в проблемах с количеством/размером транзакций и сборкой мусора JVM», что это значит? Если GC собирает ваши объекты, то в моем определении нет ссылок на них –
Является ли это проблемой кэширования (выселения) или распределенного вычисления (латентности)? Это звучит как последнее, где вы находитесь на куче хранения для скорости, но вызывает давление в ГК. В зависимости от ваших вычислений вы можете перейти во встроенную базу данных (используя предварительную выборку), двоичные вычисления вне кучи, предварительно вычисленные индексы и т. Д. Если вычисление не является действительно O (n), тогда у вас могут быть решения для моделирования. Хороший ответ требует более подробных сведений. –