Как я могу использовать очень большой словарь в C#?

Question

Я хочу использовать карту поиска или словарь в приложении C#, но ожидается, что он будет хранить 1-2 ГБ данных.

Может кто-нибудь скажет, смогу ли я по-прежнему использовать класс словаря, или если мне нужно использовать какой-либо другой класс?

EDIT: У нас есть существующее приложение, которое использует базу данных оракула для запроса или поиска объектов. Это, однако, слишком медленно, поскольку одни и те же объекты неоднократно запрашиваются. Я чувствовал, что может быть идеальным использовать карту поиска для этого сценария, чтобы улучшить время отклика. Однако я беспокоюсь, если размер сделает это проблема

Answer 1

Короткий ответ

Да. Если у вашей машины достаточно памяти для структуры (и накладных расходов остальной части программы и системы, включая операционную систему).

Длинный ответ

Вы уверены, что хотите? Не зная больше о вашем приложении, трудно понять, что предложить.

• Откуда берутся данные? Файл? Файлы? База данных? Сервисы?
• Это механизм кеширования? Если да, можете ли вы истечь элементы из кеша, как только они не были доступны какое-то время? Таким образом, вам не нужно держать все в памяти все время.
• Как другие предположили, если вы просто пытаетесь хранить много данных, можете ли вы просто использовать базу данных? Таким образом, вам не обязательно иметь всю информацию в памяти сразу. При индексировании большинство баз данных отлично справляются с быстрым извлечением. Вы можете объединить этот подход с кешем.
• Являются ли данные, которые будут в памяти только для чтения, или они должны быть сохранены в какой-либо памяти, когда что-то изменится?
• Масштабируемость - вы ожидаете, что объем данных, которые будут храниться в этом словаре, со временем увеличится?Если это так, вы столкнетесь с тем, что очень дорого покупать машины, которые могут обрабатывать этот объем данных. Вы можете захотеть посмотреть распределенную систему кеширования, если это так (AppFrabric приходит на ум), поэтому вы можете масштабировать горизонтально (больше машин) вместо вертикальной (одна очень большая дорогая точка отказа).

UPDATE

В свете редактирования плаката, это звучит как кэширование будет идти долгий путь здесь. Существует много способов сделать это:

• Простой словарный кеширование - просто кеш-файл по мере необходимости.
• Memcache
• Caching Application Block Я не большой поклонник этой реализации, но другие добились успеха.

Answer 2

Вы можете, но для словаря, как большой, как вы лучше использовать DataBase

Answer 3

Пока вы на машине 64GB, да вы должны быть в состоянии использовать этот большой словарь. Однако, если у вас ТАКОЕ много данных, база данных может быть более подходящей (cassandra - это действительно ничего, кроме гигантского словаря, и всегда есть MySQL).

Answer 4

Когда вы говорите 1-2 ГБ данных, я предполагаю, что вы имеете в виду объекты - это сложные объекты, которые в совокупности содержат 1-2 ГБ.

Если они не являются структурами (и их не должно быть), словарь не волнует, насколько велики элементы.
Пока у вас меньше, чем около 2 элементов (я вытащил этот номер из шляпы), вы можете хранить столько, сколько сможете поместиться в памяти.

Однако, как и все остальные, вы, вероятно, должны использовать базу данных.
Возможно, вы захотите использовать базу данных в памяти, такую ​​как SQL CE.

Answer 5

Используйте базу данных. Убедитесь, что у вас хорошая модель БД, поместите правильные индексы и отпустите.

Answer 6

Вы можете использовать subdictionaries.

Dictionary<KeyA, Dictionary<KeyB .... 

Где KeyA некоторая общая часть KeyB.

Например, если у вас есть String словарь, вы можете использовать первую букву как KeyA.