Память эффективный способ хранения многих мелких объектов

Question

У меня есть простой класс Person с 4 строками и целым числом.

public class Person 
{ 
     public string FirstName { get; set; } 
     public string LastName { get; set; } 
     public int Age { get; set; } 
     public string PostalCode { get; set; } 
} 

Нам нужно хранить большое количество данных в памяти. Коллекция должна быть доступна для поиска в любом поле. Элементы будут добавлены и удалены как часть жизненного цикла.

Шаблон Flyweight не работает, потому что на объекте нет тонны повторяющихся значений, только на уровне поля. Какая модель или стратегия будут работать лучше всего, чтобы ограничить накладные расходы памяти и хорошо работать?

Answer 1

Нам необходимо сохранить большое количество данных в памяти.

Затем массив Person[] бы быть скудным способом, но List<Person> была бы близка и гораздо легче работать. Просто убедитесь, что вы минимизировали повторное распределение, используя параметр Capacity.

Коллекция должна быть поиск по любому полю

Easy, .Where (p => p.FirstName == value).
Ускорение со Словари будет стоить памяти.

Answer 2

Комбинация вещей может работать здесь ... Во-первых, это лучше всего оставить в качестве ссылочного типа, чтобы вы не копировали структуры везде при поиске. Используйте string.Intern(string), чтобы уменьшить использование памяти на двойные имена и фамилии, а также почтовые индексы ... Наконец, используйте Dictionary<TKey, TValue> для индексации этих записей по значению ... Возможно, TKey является строкой в ​​случае FirstName и TValue 'равно List<Person>, так что вы может искать людей по указанной строке ... Это называется инвертированным индексом: http://en.wikipedia.org/wiki/Inverted_index - альтернатива словарю - это реализовать свою собственную структуру Tree или Trie, такую ​​как префикс trie ... Вы торгуете скоростью O (log n) для меньше памяти, чем словарь O (1).

С точки зрения хранения LOT из них в памяти, это зависит от того, что много ... но в конечном итоге вы хотите иметь достаточное количество памяти для их обработки ... Или начнете расширяться до распределенных систем для совместного использования объекты, такие как шаблон MapReduce, или «пейджинг» на диск.