Я использую PigLatin. И я хочу удалить дубликаты из сумок и хочу сохранить последний элемент конкретного ключа.Удаление дубликатов с использованием PigLatin и сохранение последнего элемента
Input:
User1 7 LA
User1 8 NYC
User1 9 NYC
User2 3 NYC
User2 4 DC
Output:
User1 9 NYC
User2 4 DC
Здесь первая подана ключ. И я хочу, чтобы последняя запись этого конкретного ключа была сохранена на выходе.
Я знаю, как сохранить первый элемент. Это как показано ниже. Но не удалось сохранить последний элемент.
inpt = load '......' ......;
user_grp = GROUP inpt BY $0;
filtered = FOREACH user_grp {
top_rec = LIMIT inpt 1;
GENERATE FLATTEN(top_rec);
};
Может ли кто-нибудь помочь мне в этом? Заранее спасибо!
Nice Approach .. –
Прохладный! Это идеальное решение. Спасибо за ответ. –