Как вычислить общее количество свинья?

Question

Есть ли способ вычислить общее количество с Pig?

Например, если мои данные:

day1, 10 
day2, 20 
day3, 30 

есть способ создания

day1, 10 
day2, 30 
day3, 60 

?

Answer 1

Есть ли эффективный способ расчета общей суммы с помощью свиньи, которая использует парадигму уменьшения карты? Нет, я так не думаю. Каждая запись основывается на записи перед ней, что означает, что нет хорошего способа сделать это параллельно.

Возможно ли это сделать с помощью свиньи? Да, вы могли бы сделать группу всех, чтобы поместить все данные в один мешок, а затем написать UDF, который делает то, что вы хотите. Функция может реализовать, по крайней мере, интерфейс аккумулятора, если не алгебраична. https://issues.apache.org/jira/browse/PIG-296 выглядит как старая, никогда не реализованная связь с тем, кто написал UDF, чтобы сделать именно это.

Answer 2

Я смог придумать решение, используя перекрестное произведение набора данных и самого себя.

вход

Пример:

{"daynum": "1", "daycount": 5} 
{"daynum": "2", "daycount": 10} 
{"daynum": "3", "daycount": 7} 
{"daynum": "4", "daycount": 8} 

Pig сценарий:

raw = LOAD 'sample.json' USING com.twitter.elephantbird.pig.load.JsonLoader('-nestedLoad') as (json:map[]); 
dat = FOREACH raw GENERATE (int)json#'daynum' as daynum:int, (int)json#'daycount' as daycount:int; 
dat2 = foreach dat generate daynum, daycount; 
xp = cross dat, dat2; 
xpf = filter xp by (dat::daynum >= dat2::daynum); 
grp = group xpf by (dat::daynum); 
out = foreach grp generate FLATTEN(group), SUM(xpf.dat2::daycount) as running_total_daycount; 
dump out; 
(1,5) 
(2,15) 
(3,22) 
(4,30) 

Answer 3

улей обеспечивает очень хороший способ сделать это в одной строке -
Пожалуйста, следуйте ниже процесса для достижения вашей целевой выход

создать ПРОДАЖИ таблица улей, которая может содержать ваш набор данных (день и продажа) -

day sale 
day1, 10 
day2, 20 
day3, 30 

Теперь просто запустите следующую команду в вашем улье терминале -

SELECT day, SUM(sale) OVER (ORDER BY DAY) FROM SALES; 

Выход будет как -

day1, 10 
day2, 30 
day3, 60 

Я надеюсь, что это может помочь вам получить вашу цель вывод.

Answer 4

Начиная с PIG 0.12, у вас есть За UDF

https://pig.apache.org/docs/r0.12.0/api/org/apache/pig/piggybank/evaluation/Over.html

Так что

A = load 'T'; 
B = group A by si 
C = foreach B { 
    C1 = order A by d; 
    generate flatten(Stitch(C1, Over(C1.f, 'sum(float)'))); 
} 
D = foreach C generate s, $9; 

будет эквивалентна этой

select s, sum(f) over (partition by si order by d) from T; 

Я считаю, что это то, что вы мы ищем. В вашем случае вам просто нужно удалять группу или использовать группу ALL.