Какая база данных для работы с очень большими наборами результатов?

Question

В настоящее время я работаю над PHP-приложением (предварительный выпуск).

фон

Мы имеем таблицу в нашей базе данных MySQL, которая, как ожидается, расти чрезвычайно велик - это не было бы необычно для одного пользователя, чтобы иметь 250,000 строк в этой таблице. Каждой строке таблицы присваивается количество и дата, между прочим.

Кроме того, эта таблица читается с (и написана) очень часто - на большинстве страниц. Учитывая, что каждая строка имеет дату, я использую GROUP BY date, чтобы свести к минимуму размер набора результатов, заданного MySQL. Строки, содержащиеся в том же году, теперь можно рассматривать как всего одно.

Однако типичная страница по-прежнему будет иметь результат в диапазоне от 1000 до 3000 результатов. Есть также места, где исполняется множество SUM(), всего несколько десятков - если не сотни - тысяч строк.

Попытка MySQL

На обычной странице, MySQL обычно принимает вокруг вокруг 600-900ms. Использование LIMIT и смещения не помогли производительности, и данные были сильно нормализованы, и поэтому не похоже, что дальнейшая нормализация поможет.

Хуже того, есть части приложения, которые требуют извлечения из базы данных 10 000-15 000 строк. Результаты затем используются при вычислении PHP и соответственно форматируются. Учитывая это, производительность MySQL не была приемлемой.

Попытка MongoDB

Я преобразовал таблицу MongoDB, и это скорость быстрее - обычно это занимает около 250 мс для получения 2000 документов. Однако команда $group в конвейере агрегации, необходимая для объединения полей в зависимости от года, в который они входят, замедляет работу. К сожалению, сохранение и обновление, когда всякий раз, когда документ удаляется/обновляется/вставлен, также не может быть и речи, потому что, хотя мы можем использовать годовой итог для некоторых частей приложения, в других частях вычисления требуют, чтобы каждая сумма падала на конкретная дата.

Я также рассмотрел Redis, хотя, по-моему, сложность данных не соответствует тому, ради чего был разработан Redis.

Заключительный Стро

В довершение всего этого, важным фактором является скорость. Таким образом, производительность - это приоритеты.

Вопросы:

1. Что является лучшим способом для хранения данных, которые часто чтения/записи и быстро растет, с осознанием того, что большинство запросов будут получать очень большой результат-набор?
2. Есть ли еще одно решение проблемы? Я полностью открыт для предложений.

Я немного застрял в данный момент, я не смог получить такой большой результат в приемлемом количестве времени.Похоже, что большинство хранилищ данных отлично подходят для небольших размеров извлечения - даже при больших объемах данных, - но я не смог найти что-либо, получая большие объемы данных из еще более крупной таблицы/коллекции.

Answer 1

Я только прочитал первые две строки, но вы используете агрегацию (GROUP BY), а затем ожидаете, что она просто сделает в реальном времени?

Я скажу, что вы новичок во внутренних базах данных, чтобы не подрывать вас, а пытаться помочь вам.

Оператор группы в MySQL и MongoDB находится в памяти. Другими словами, он принимает любую структуру данных, которую вы povide, будь то индекс или документ (строка), и он будет проходить через каждую строку/документ, беря поле и группируя его.

Это означает, что вы можете ускорить его работу как в MySQL, так и в MongoDB, убедившись, что вы используете индекс для группировки, но все же это только до сих пор, даже с размещением индекса в вашем прямом рабочем наборе в MongoDB (Память).

Фактически, используя LIMIT с OFFSET, возможно, это просто замедляет ход событий еще более откровенно. Поскольку после написания набора MySQL затем нужно запросить еще раз, чтобы получить ответ.

После выполнения этого будет выписан результат, MySQL запишет его в результирующий набор (память и IO используются здесь), и MongoDB ответит встроенным, если вы не установили $out, максимальный размер встроенного вывода 16 МБ (максимальный размер документа).

Конечная точка, чтобы забрать здесь: агрегации ужасна

Там нет серебряной пули, которая избавит вас здесь, некоторые базы данных будут пытаться хвастается их скорость и т.д. и т.д., но факт является самым большими агрегаторами используйте что-то, называемое «предварительно агрегированные отчеты». Вы можете найти краткое введение в документацию MongoDB: http://docs.mongodb.org/ecosystem/use-cases/pre-aggregated-reports/

Это означает, что вы прилагаете усилия к агрегации и группировке на какой-то другой процесс, который мог бы сделать это достаточно легко, чтобы поток чтения, который должен быть в реальном времени, сделайте это в реальном времени.