Объединение/отделение Pig UDF возвращает

Question

Предположим, что Pig UDF создает два разных типа данных.

Как скрипт свиньи обрабатывает возвращенный список комбинированных кортежей из этого UDF двумя разными способами?

Например:

public Tuple exec (Tuple input) // input ignored in UDF for simplicity 
    { 
    Tuple t = TupleFactory.getInstance().newTuple(); 
    if (Math.random() < 0.5) 
     t.append ("less than half"); 
    else 
     t.append (new Date()); 
    return t; 
    } 

Сценарий Pig должен сделать что-то вроде:

register ... 
define myUDF ... 
data = load ...; 
combinedList = foreach data generate myUDF (data); 

stringList = filter combinedList by $0 instanceof java.lang.String; // ?? 
dateList = filter combinedLists by $0 instanceof java.util.Date; //?? 

store stringList into ... ; 
store dateList into ... ; 

Спасибо,

Answer 1

Есть две проблемы.

1. Ни при каких обстоятельствах вы когда-либо возвращать различные типы данных с вашего UDF. Это противоречит принципу наименьшего удивления и нескольких других вещей. Если вы хотите указать недопустимое значение, возвращение null или некоторая недопустимая константа будет более подходящей.
2. То, что вы пытаетесь сделать, не выполняется с несколькими фильтрами, для этого есть операция SPLIT. Хотя ваш пример использования instanceof в Pig неправильный, основное использование будет выглядеть как SPLIT combinedList INTO stringList IF $0 instanceof String, dateList IF $0 instanceof Date.