Как определить последующие действия пользователя на основе предыдущих посещений

Question

Я хочу определить пользователей, которые посетили раздел a, а затем посетили b. Учитывая следующую структуру данных. Таблица содержит 300 000 строк и обновлений ежедневно прибл. 8 000 строк:

**USERID** **VISITID**  **SECTION** Desired Solution--> **Conversion** 
    1    1    a          0 
    1    2    a          0 
    2    1    b          0 
    2    1    b          0 
    2    1    b          0 
    1    3    b          1 

В идеале я хочу новый столбец, который обозначает посещение раздела b. Например, в третьем визите Пользователь 1 впервые посетил раздел b. Я пытался сделать это, используя инструкцию CASE WHEN, но после многих неудачных попыток я не уверен, что это возможно даже с CASE WHEN и чувствую, что я должен придерживаться другого подхода, я просто не уверен, каким должен быть этот подход. У меня также есть столбец даты в моем распоряжении.

Любые предложения по новому способу подхода к проблеме будут оценены по достоинству. Благодаря!

Answer 1

При работе с Redshift следует избегать коррелированных подзапросов. Имейте в виду, что для Redshift нет индексов, поэтому вам нужно будет выполнить повторное сканирование и восстановить данные столбца вместе для каждого значения в родительском объекте, что приведет к операции O (n^2) (в данном конкретном случае, начиная с 300 тыс. значения отсканированы до 90 млрд.).

Лучший подход, когда вы хотите охватить ряд строк, - использовать аналитическую функцию. Есть несколько вариантов, в зависимости от того, как данные структурированы, но в простейшем случае, вы могли бы использовать что-то вроде

select case 
     when section != lag(section) over (partition by userid order by visitid) 
     then 1 
     else 0 
     end 
from ... 

Это предполагает, что ваши данные для идентификатора пользователя 2 приращений visitid, как показано ниже. Если нет, вы также можете заказать свою временную колонку

**USERID** **VISITID**  **SECTION** Desired Solution--> **Conversion** 
    1    1    a          0 
    1    2    a          0 
    2    1    b          0 
    2   *2*    b          0 
    2   *3*    b          0 
    1    3    b          1 

Answer 2

select t.*, case when v.ts is null then 0 else 1 end as conversion 
    from tbl t 
    left join (select * 
       from tbl x 
       where section = 'b' 
       and exists (select 1 
         from tbl y 
         where y.userid = x.userid 
         and y.section = 'a' 
         and y.ts < x.ts)) v 
    on t.userid = v.userid 
    and t.visitid = v.visitid 
    and t.section = v.section 

Фидл: http://sqlfiddle.com/#!15/5b954/5/0

Я добавил данные метки времени выборки, как и поле, необходимо, чтобы определить, идет ли до того или после б б.

Чтобы включить аналитические функции, которые вы могли бы использовать:

(Я также сделал так, что только первое вхождение B (после А) получит помечено 1)

select t.*, 
     case 
     when v.first_b_after_a is not null 
     then 1 
     else 0 
     end as conversion 
    from tbl t 
    left join (select userid, min(ts) as first_b_after_a 
       from (select t.*, 
          sum(case when t.section = 'a' then 1 end) 
            over(partition by userid 
             order by ts) as a_sum 
         from tbl t) x 
       where section = 'b' 
       and a_sum is not null 
       group by userid) v 
    on t.userid = v.userid 
    and t.ts = v.first_b_after_a 

Fiddle:http://sqlfiddle.com/#!1/fa88f/2/0