измерение ключевого слова clickstream

Question

В настоящее время я пытаюсь определить, как построить таблицу измерения ключевых слов. Мы отслеживаем посещения сайтов на нашем веб-сайте и хотели бы найти наиболее используемые ключевые слова, используемые для поиска через поисковую систему для сайта, а также любые поисковые термины, используемые во время посещения сайта (цена> 100 долларов США, обзор> 4 звезды и т. д.). Поскольку ключевые слова являются полностью динамическими и могут использоваться в бесконечном количестве комбинаций, мне трудно найти способы хранения этих ключевых слов. У меня есть таблица фактов просмотра страниц, которая включает запись каждый раз, когда просматривается страница. Источник, из которого я выхожу, включает все условия поиска в разделительном списке. Я могу анализировать регулярное выражение, я просто не знаю, как его хранить в базе данных, поскольку количество ключевых слов может значительно варьироваться от просмотра страницы к просмотру страниц. Я думаю, что это может быть больше подходит для решения NOSQL, которое пытается втиснуть его в таблицу MSSQL, но я не знаю. Любая помощь очень ценится!

Answer 1

В зависимости от того, как вы хотите анализировать данные, существует несколько решений.

Но для объема данных, которые вы, вероятно, анализируете, я бы просто создал таблицу, которая использует PK этого факта для хранения каждого ключевого слова.

FACT_PAGEVIEW_ID bigint -- Surrogate key of fact table. Or natural key if you don't have a surrogate. 
KEYWORD varchar(255) -- or whatever max len the keywords are 
VALUE varchar(255) 

Гранулярность этой таблицы составляет 1 строку на идентификатор/комбинацию ключевых слов. Возможно, вам придется добавить значение, если вы разрешаете одно и то же ключевое слово несколько раз в querystring.

Это позволяет группировать ключевые слова по просмотру страниц или начинать с факта просмотра страницы, фильтровать его, а затем присоединяться к этому, чтобы идентифицировать ключевые слова.

Другим вариантом будет измерение ключевого слова и многомиллионная таблица с «группой ключевых слов», но поскольку любое количество комбинаций может быть использовано, это, вероятно, более быстрый путь и, вероятно, даст вам 90% путь там. Большинство вопросов, таких как «какая комбинация ключевых слов используется наиболее часто», и «какие ключевые слова больше всего используются в топ-10% пользовательской базы», ​​можно получить с помощью этой структуры.