Как конвертировать сумку в несколько пакетов с помощью апачей?

Question

У меня есть файл с двумя наборами данных, как показано ниже:

1,abc,10,dss 
2,efgh,as 
1,abc,10,1234 
2,efgh,as 
1,abc,10,7899 
2,efgh,as 

записи, начиная с № 1 являются один набор и запись, начинающаяся с # 2 имеет различный набор. Таким образом, обе имеют разные структуры. как отделить эти два набора записей?

Answer 1

Вот способ ...

A = LOAD '/user/data/split.txt' as line:chararray; 
B = FOREACH A GENERATE Flatten(TOKENIZE(line,' ')) ; 
B1 = filter B by $0 matches '1.*'; 
B2 = filter B by $0 matches '2.*'; 
DUMP B1 
DUMP B2 
or 
SPLIT B INTO B1 IF ($0 matches '1.*'), B2 IF ($0 matches '2.*'); 

Answer 2

С новой обновленной версии ввода, здесь другое решение

A = LOAD '/user/data/split.txt' as line:chararray; 
B1 = filter A by $0 matches '1.*'; 
B2 = filter A by $0 matches '2.*'; 
or 
SPLIT A INTO B1 IF ($0 matches '1.*'), B2 IF ($0 matches '2.*');