Как удалить дубликаты записей из файла с помощью оболочки

Question

У меня есть файл, который находится в формате:

0000000540|Q1.1|margi|Q1.1|margi|Q1.1|margi 
0099940598|Q1.2|8888|Q1.3|5454|Q1.2|8888  
0000234223|Q2.10|saigon|Q3.9|tango|Q1.1|money 

Я пытаюсь удалить дубликаты, которые появляются на одной и той же линии.

Таким образом, если линия имеет

0000000540|Q1.1|margi|Q1.1|margi|Q1.1|margi 

Я хотел, чтобы это было

0000000540|Q1.1|margi 

Если линия имеет

0099940598|Q1.2|8888|Q1.3|5454|Q1.2|8888 

Я хотел, чтобы это было как

0099940598|Q1.2|8888|Q1.3|5454 

Я хотел бы сделать это на скрипте оболочки, который принимает входной файл и выводит файл без дубликатов.

Заранее спасибо всем, кто может помочь

Answer 1

Это должно сделать это, но не может быть эффективным для больших файлов.

awk ' 
    { 
     delete p; 
     n = split($0, a, "|"); 

     printf("%s", a[1]); 

     for (i = 2; i <= n ; i++) 
     { 
       if (!(a[i] in p)) 
       { 
        printf("|%s", a[i]); 
        p[a[i]] = ""; 
       } 
     } 

     printf "\n"; 
    } 
' YourFileName