2014-10-23 8 views
0

Я упростили проблему дальше и вот детали:Apache Pig Регистрация возвращает пустые

in1.txt:

null null <=6.9 
null null <7.0 

in2.txt:

null null <=6.9null 
not-null <=6.9 
null null <7.0 
not-null null <7.0 

    in1 = LOAD 'in1.txt' AS (f1:chararray, f2:chararray, f3:chararray); 
    DUMP in1; 

Я вижу следующее : Не знаете, почему есть дополнительные пустые поля!

(null null <=6.9,,) 
(null not-null <=6.9,,) 
(null null <7.0,,) 
(not-null null <7.0,,) 

in2 = LOAD 'in2.txt' AS (a1:chararray, a2:chararray, a3:chararray); 
DUMP in2; 

Я вижу следующее: Не знаю, почему есть дополнительные пустые поля!

(null null <=6.9 ,,) 
(null null <7.0 ,,) 

ins_joined = JOIN in1 BY(f1,f2,f3), in2 BY (a1,a2,a3); 
DUMP ins_joined; 

Я также попытался

this:ins_joined_one = JOIN in1 BY(f1), in2 BY (a1); 
DUMP ins_joined_one; 
DUMP ins_joined_one is also empty! 

связь ins_joined пуста. Не уверен что происходит. Было бы очень полезно помочь.

ответ

0

Ваши данные не загружены правильно, все Данные загружаются в одну колонку, а остальные столбцы пусты, вам необходимо загрузить данные, как этот

in1 = LOAD 'in1.txt' USING PigStorage(' ') AS (f1:chararray, f2:chararray, f3:chararray); 
in2 = LOAD 'in2.txt' USINg PigStorage(' ') AS (a1:chararray, a2:chararray, a3:chararray); 
0

Да, это была проблема с данными нагрузки. Он отлично работает сейчас с тем же сценарием свиней .....