Как загрузить массив строк с разделителем табуляции в свинге

Question

У меня есть текстовый файл с разделителем табуляции, и я пытаюсь напечатать первый столбец как id и оставшийся массив строк в качестве имен вторых столбцов.

рассмотрит ниже файл для загрузки:

cat file.txt; 
1 A B 
2 C D E F 
3 G 
4 H I J K L M 

В указанном файле, первый столбец является идентификатором, а остальные имена.

я должен получить выход как:

id   names 
1   A,B 
2   C,D,E,F 
3   G 
4   H,I,J,K,L,M 

Если имена разделяются с разделителем ,, то я получаю вывод, используя команды ниже:

test = load '/tmp/arr' using PigStorage('\t') as (id:int,names:chararray) 
btest = FOREACH test GENERATE id, FLATTEN(TOBAG(STRSPLIT(name,','))) as value:tuple(name:CHARARRAY); 

Но для массива с разделителем ('\t'), я не получаю их, потому что он рассматривает только первое значение в столбце 2 (то есть имена).

Любое решение для этого?

Answer 1

У меня есть решение для этого:

При использовании PigStorage («\ т») в нагрузке, файл должен иметь вкладку разделитель. Таким образом, количество вкладок, используемых в строке, создает много coloumns (+1). Вот как это работает. Но у вас есть трюк Вы можете изменить разделитель по умолчанию и использовать какой-либо другой разделитель для загрузки файла, такого как запятая, а затем вы можете иметь имена в скомпонованных. Он будет работать наверняка образец файла ввода

1,A B 
2,C D E F 
3,G 
4,H I J K L M 

Надеется, что это помогает