Hadoop Pig - Оптимизация количества слов

Question

В каноническом примере свинг-свиньи мне любопытно, как люди подходят к оптимизации условий, при которых группировка по слову может привести к созданию мешка с множеством элементов.

Например:

A = load 'input.txt'; 
B = foreach A generate flatten(TOKENIZE((chararray)$0)) as word; 
C = group B by word; 
D = foreach C generate COUNT(B), group; 

В строке C, если есть слово, скажем, «в» и что происходит 1 миллиард раз во входном файле, это может привести к редуктору, висящей на очень долгое время обработки. Что можно сделать, чтобы оптимизировать это?

Answer 1

В любом случае, PIG будет оценивать, может ли комбинатор использоваться и будет ли он, если это так.

В случае вашего примера он, очевидно, представит объединитель, который уменьшит количество пар значений ключа на слово до нескольких или только один в лучшем случае. Так что на стороне редуктора вы не получите огромное количество ключей/значений за данное слово.