Лучший способ хранения большого количества datarow для запросов

Question

Каков наилучший способ хранения большого количества (нескольких миллионов) записей, используемых для создания отчетов? Характер приложения требует, чтобы каждая запись, соответствующая поиску, отправлялась в приложение для обработки, поэтому для нас важны как скорость выполнения запроса, так и скорость передачи результатов запроса.

В настоящее время наше приложение хранит записи в одной прямой таблице MSSQL, сильно индексированной для производительности запросов. Есть ли у кого-нибудь альтернативные идеи хранения данных или есть реляционная база данных, подходящая для этого, даже если мы можем хранить записи только в одной таблице, так как данные не являются реляционными в ней?

Решение SQL дает нам неплохую производительность, но меня интересует, есть ли другие альтернативные альтернативы, например, это базы данных NoSQL - это правильное решение для начала поиска?

Наши запросы сделаны против небольшого количества столбцов, но результаты могут отличаться по размеру (количество строк, необходимое для каждого исполнения в зависимости от периода и некоторых других параметров).

Заранее благодарим за помощь в получении новых перспектив.

Поскольку мы являемся магазином .NET, любые решения/идеи, которые хорошо подходят с .NET и серверами Windows, являются большим плюсом для нас, но я ценю все материалы, которые я могу получить от этого. И решениями я имею в виду некоторые другие бэкэнды, чем MSSQL или другие реляционные-dbs?

Answer 1

Эффективность запроса на основе запросов и индексы

Для передачи данных клиента:

• Просто прямо DataReader является очень эффективным
• Drapper также быстро, но у меня есть не используется

У меня была достоверная интерпретация того, что результаты запроса должны быть сохранены для повторного запуска
запрос выполняется только один раз

Data 
int ID iden 
varchar Value1 
varchar Value2 

SavedQuery 
int ID iden 
varchar name 

SavedQueryResults 
int QueryID PK 
int DataID PK 

Select [Data].[Value1], [Data].[Value2] 
From [Data] 
Join [SavedQueryResults] 
    on [SavedQueryResults].[DataID] = [Data].[ID] 
and [SavedQueryResults].[QueryID] = x 

с ПК на SavedQueryResults это должно привести к индексу искать и не может сделать лучше, чем это.

При создании SavedQueryResults использовать заказ DataID во вставке, чтобы фрагментация вниз

Answer 2

Почему вы не достаточно иметь несколько таблиц отчетов, обновляется с триггерами, это было бы намного более эффективным. То же, что и модели просмотра в мире CQRS.