Как я могу архивировать и внедрять пользовательские отчеты самообслуживания?

Question

Какой тип архитектуры, дизайна и программного обеспечения вам нужно будет предоставить нечто похожее на превосходные функции пользовательского отчета, предоставляемые аналитикой google. Чтобы быть более конкретным, мы хотим, чтобы пользователь мог указать параметры и показатели из списка и создать отчет.

• Нужен ли нам склад данных?
• Нужна ли нам OLAP?
• Должен ли доступ к данным для слоя для ORM, динамического sql или хранимых процедур?
• Есть ли какой-либо третий участник или продукты с открытым исходным кодом, которые могут получить нас частично?

Есть ли кто-нибудь еще (компания, разработчик), кто даже выполнил эту функцию на уровне Google? Пример?

Примечание

Я не заинтересован в создании Google Analytics конкурента. Я хочу использовать легкость отчетности для наших собственных уникальных наборов данных.

Благодаря

Answer 1

Вам определенно нужен хранилище данных с большим количеством ETL, agg и pre-agg процессов, работающих в нерабочие часы. Кубы OLAP действительно не масштабируются для веб-аналитики большого объема.

Для сбора данных вы, вероятно, также захотите использовать MSMQ или аналогичную и аппаратную балансировку нагрузки. Disk I/O - типичная бутылочная горловина, работающая в памяти, и, конечно же, помогает сделать предварительную агрегацию. На моей предыдущей работе в Microsoft некоторые из наших устаревших систем сбора данных регистрировались непосредственно в файлах журналов, а не в базе данных. Мы использовали log parser) и делали много ETL и агрегации почти круглосуточно.

Сбор данных лежит в основе его, и вам нужно будет создать современный склад данных, если вы намереваетесь масштабировать. Мы полагались почти исключительно на Хранимые процедуры. У нас их было тысячи, некоторые из них были сложными и сильно оптимизированными. Помимо производительности, масштабируемость также вызывает большую озабоченность.

Answer 2

Вы могли бы хотеть проверить http://haveamint.com/. Это не бесплатно, а как продукт, он позволяет вам размещать собственные аналитики.

Piwik (http://piwik.org/) - отличная реализация с открытым исходным кодом.

Что касается построения конкурента Google Analytics, аналитика не будет сложной частью. Если ваша служба загорится, самая большая трудность будет масштабироваться в базе данных.