База данных с «Открытой схемой» - хорошая или плохая идея?

Question

Соучредитель Reddit выступил с презентацией о проблемах, которые они имели при масштабировании для миллионов пользователей. Доступна сводка here.

Что удивило меня является точка 3:

Вместо этого они держат Thing таблицу и таблицу данных. Все в Reddit - это Thing: пользователи, ссылки, комментарии, субредады, награды и т. Д. Вещи сохраняют общий атрибут, например, вверх/вниз, тип и дату создания. Таблица данных имеет три столбца: id, ключ, значение. Для каждого атрибута есть строка. Есть строка для заголовка, URL-адреса, автора, спам-голосов и т. Д. Когда они добавляют новые функции, им больше не нужно беспокоиться о базе данных. Им не нужно было добавлять новые таблицы для новых вещей или беспокоиться об обновлениях.

Это кажется ужасной идеей для меня, но, похоже, это сработало для Reddit. Это вообще хорошая идея? Или это особенность Reddit, которая сложилась для них?

Answer 1

Это модель данных, которая известна как EAV для значение объекта-атрибута. Он имеет свое применение. В качестве примера можно привести данные теста пациента, которые, естественно, являются разреженными, так как есть сотни тысяч тестов, которые могут выполняться, но обычно для пациента имеется только небольшая часть. Стол с сотнями тысяч столбцов глупо, но таблица с EAV имеет смысл.

Answer 2

Я отметил, что они ничего не говорили о легкости или сложности создания отчетов против этих данных. При использовании в узких условиях EAV могут быть полезными. Как центральная часть большинства систем, это станет кошмаром, когда вы получите отчет. Проблема с EAV заключается в том, что большая часть преимуществ находится в начале проекта, и большая часть боли возникает в результате анализа и отчетности, особенно из-за серьезного отсутствия целостности данных. «Не нужно беспокоиться о внешних ключах» для меня звучит как кошмар сиротских рядов. Добавьте к использованию суррогатные ключи для всего и у вас запутанные болота, которые обычно заканчиваются полным переписанием.

Answer 3

Большинство действительно больших веб-сайтов в конечном итоге используют нечто вроде невероятно простого на стороне базы данных вещей. Это имеет то преимущество, что оно быстрое и масштабируемое. Недостаток заключается в том, что все отношения, которые вы получите, чтобы база данных принудительно применялась (через триггеры и т. Д.), Вы должны нуждаться в, чтобы вместо этого ввести себя в свой код клиента. Поддержание последовательности - это боль в шее, и почти всегда есть хоть какой-то шанс, что ваши данные будут непоследовательными, по крайней мере, на короткие промежутки времени.

Для сайта социальной сети это достойный компромисс. Данные, которые в большинстве случаев правильны в большинстве случаев, являются адекватными (например, кто действительно волнует, если количество голосов, которые вы получаете за элемент, на самом деле составляет 20 миллисекунд, когда оно отправлено), и сохранение разумных затрат при масштабировании для поддержки gazillion пользователи имеют большое значение.