У меня есть master.txt, у которого есть 10K записей, поэтому каждая его строка будет кортежем & все то же самое нужно передать python UDF. Поскольку он имеет несколько записей, так что при сохранении p2preportmap появляется следующая ошибка. Пожалуйста, помогитеНевозможно передать свиной кортеж в python UDF
Ошибка заключается в следующем:
Невозможно открыть итератор для псевдонима p2preportmap. Ошибка backend: org.apache.pig.backend.executionengine.ExecException: ОШИБКА 0: Scalar имеет более одной строки на выходе. 1: (010301, MTS, MM), 2 : (010B06, MTS, TN) (общая причина: «ПРИСОЕДИНЯЙТЕСЬ», затем «FOREACH ... GENERATE foo.bar» должно быть «foo :: bar»)
свиней Сценарий выглядит следующим образом:
REGISTER 'smsiuc_udf.py' using streaming_python as smsiuc_udfs;
cdrs = load '2016040111*' USING PigStorage('|','-tagFile') ;
mastergtrec = load 'master.txt' USING PigStorage(',','-tagFile');
mastergt = FOREACH mastergtrec GENERATE (chararray) UPPER($1) as opcdpc, (chararray) UPPER($2) as gtoptname,(chararray) UPPER($3) as gtoptcircle;
mastergttup = FOREACH mastergt generate TOTUPLE(opcdpc,gtoptname,gtoptcircle) as mstgttup;
cdrrecord = FOREACH cdrs GENERATE (chararray) UPPER($1) as aparty, (chararray) UPPER($2) as bparty,$3 as smssentdate,$4 as smssenttime,($29=='6' ? 'S' : 'F') as status,(chararray) UPPER($26) as srcgt,(chararray) UPPER($27) as destgt,($12=='405899136999995' ? 'MTSDEL-CDMA' : ($12=='919875089998' ? 'MTSRAJ-GSM' : ($12=='405899150999995' ? 'MTSCHN-CDMA' : $12))) as smscgt, (chararray)$0 as cdrfname,(chararray) $13 as prepost;
filteredp2pcdrs = FILTER cdrrecord by smsiuc_udfs.pullp2pcdrs(aparty,bparty,srcgt,destgt) and status == 'S' and SUBSTRING(smssentdate,4,6) == '$MON';
groupp2pcdrs = GROUP filteredp2pcdrs by (srcgt,destgt,aparty,bparty,smscgt,status,prepost);
distinctp2pcdrs= FOREACH groupp2pcdrs {
uniq = DISTINCT filteredp2pcdrs.(srcgt,destgt,aparty,bparty,smscgt,status,prepost);
GENERATE FLATTEN(group),COUNT(uniq) as cnt;
};
p2preportmap = FOREACH distinctp2pcdrs GENERATE smsiuc_udfs.p2preport(srcgt,destgt,aparty,bparty,mastergttup),smscgt,status,prepost,cnt
Невозможно понять , не могли бы вы объяснить ... – Amit
проблема здесь у вас есть несколько записей в вашем отношении p2preportmap, вы должны объединить их в один, это может быть сделано командой выше или проще, сгруппировано = группа p2preportmap на 1; теперь вы можете сгруппировать в udf –
Итак, вы хотите сказать, что я shud do group на mastergt, например dummy = foreach mastergtrec generate 1, opcdpc, gtoptname, gtoptcircle & then grouped = group dummy by opcdpc. – Amit