Мы планируем внедрить систему для регистрации высокой частоты рыночных тиков в БД для дальнейшего анализа. Чтобы просто немного узнать, какую производительность хранения мы можем получить на разных решениях БД, я создал небольшое приложение для вставки базовой строки информации о тике. При запуске одного и того же кода на нескольких разных БД мы получили некоторые интересные результаты.Производительность вставки базы данных
Данные вставляются очень просто, как следует:
CREATE TABLE [dbo].[price](
[product_code] [char](15) NULL,
[market_code] [char](10) NULL,
[currency] [nchar](6) NULL,
[timestamp] [datetime] NULL,
[value] [float] NULL,
[price_type] [char](4) NULL
) ON [PRIMARY]
Microsoft SQL Server:
Общее время тестирования: 32 секунд. 3,099 цены в секунду.
MySQL сервер:
Общее время тестирования: 18 секунд. 5 349 цен в секунду.
MongoDB Сервер:
Общее время тестирования: 3 секунды. 25 555 цен в секунду.
Цель этого тестирования - просто получить небольшое представление о том, какую «сырую производительность» можно ожидать от систем в нижней части. При фактическом внедрении решения мы, конечно, будем делать буферизацию, объемные вставки и т. Д.
Мы заботимся только о скорости вставок, поскольку запрос выполняется «в автономном режиме» позже.
Есть ли у кого-нибудь предложения по другим базам данных, которые могут поместиться? Сегодня вечером я буду использовать HDF5 и MonetDB. Его необходимо иметь доступ нескольких клиентов.
Спасибо за любые предложения!
ОБНОВЛЕНО:
Извините, но я сделал главную редактировать мой вопрос, прежде чем полагающей, и, кажется, я ушел из версий сервера и некоторые детали оборудования. Все тесты проводились на 8-ядерном сервере с 12 ГБ оперативной памяти под управлением Windows 2008 x64.
Microsoft SQL Server 2008 Enterprise x64. MySQL 5.1.44 работает как таблица InnoDB. MongoDB 1.2.4 x64
Текущий тест представляет собой простой цикл вставки строк в БД с реальными историческими данными из NASDAQ, скомпилированными в файл CSV, уже импортированный в память. Код был в C# NET4 x64.
Серверы MS SQL и MySQL были настроены на идеальные настройки, в то время как MongoDB был настроен только по умолчанию. Таблицы SQL настроены без индексов, так как цель БД проста в качестве промежуточной площадки перед тем, как быть перенесена в основную систему анализа.
Многие предлагаемые Массовые вставки, однако это сложный способ сделать это, поскольку у нас есть несколько клиентов, которые толкают отдельные тики в БД независимо от живых потоков. Чтобы разрешить такие методы, нам нужно было бы расширить слой перед БД, помимо того, что у нас есть шанс проверить прямо сейчас. Однако я предполагаю, что что-то нужно будет сделать для окончательной архитектуры, поскольку числа, которые мы получаем от всего, кроме MongoDB, недостаточно для обработки количества необходимых входов.
ОБНОВЛЕНИЕ 2: Диски SSD действительно великолепны именно для этого, и мы используем это сами. Однако конечный продукт будет установлен на несколько различных клиентах, которые все предоставляют свое собственное железо .. и получение серверов из ИТ-отдела с SSD по-прежнему трудно ... :(
UPDATE 3:
Я попытался подход BulkCopy предложил производительность при том же цикле, как и другие, но первый в DataTable, а затем BulkInsert в SQL Server привело к следующему:.
Microsoft SQL Server (наливом):
Общий тест время: 2 секунды. 39401 цен на секунду д.
Вы должны проверить с буферными и навалочных вставками, а также. Также убедитесь, что вы используете те же индексы и ограничения, что и настоящая система, и выполните тест с Db, который достаточно заполнен. –
Помните также, что аппаратные средства здесь очень важны, например, некоторые высокопроизводительные SSD-накопители будут приносить огромную производительность, поэтому посмотрите, где вы тратите свои деньги, чтобы узнать, насколько это важно. –
Вы тестируете их на одной машине? вы используете экспресс-версию sql-сервера? –