Pig Latin Partition By статья

Question

Какая польза от раздела «Разделение по» в Pig Latin?

Также укажите пример использования.

Предоставляет ли он только настраиваемый раздел или разрешает разделение по столбцу?

Answer 1

Какая польза от раздела «Разделение по» в Pig Latin?

Это позволяет вам установить Partitioner по вашему выбору. Свинья использует по умолчанию один i'e HashPartitioner, за исключением заказать и skew join. Но иногда вы можете захотеть иметь собственную реализацию, чтобы повысить производительность. Перегородка помогает там.

Также укажите пример использования.

DATA = LOAD '/inputs/demo.txt' using PigStorage(' ') as (no:int, name:chararray); 
PARTITIONED = GROUP DATA by name PARTITION BY org.apache.pig.test.utils.SimpleCustomPartitioner parallel 2; 

это позволит ли только пользовательский раздел или раздел позволяет на колонке?

Это просто указание пользовательских разделителей, а не разделение непосредственно на основе некоторого поля.

См. PIG-282 для получения более подробной информации.