Как удалить дублированные строки с несколькими файлами?

Question

У меня есть 7 файлов со следующими именами в разных каталогах и подкаталоги

tag0.txt, tag1.txt, tag2.txt, tag3.txt, tag01.txt, tag02.txt and tag03.txt 

Некоторые из этих файлов дублировали строки. Как удалить duplicated rows? Обратите внимание, что строки в каждом файле не сортируются, а длина каждого файла составляет от 500 до 1000 строк.

Любая помощь будет высоко оценена.

Спасибо

Answer 1

Предполагая, что вы хотите удалить дубликаты на основедля каждого файла, следующие не требуют отсортированных файлов и таким образом, не нарушается порядок линий:

awk '!a[$0]++' infile > outfile 

С вашего файлы, похоже, находятся в разных каталогах, возможно, проще всего запустить эту команду вручную 7 раз. Если вы действительно хотите, хотя вы можете цикл это следующим образом:

#!/bin/sh 

for file in /path/to/file1 /path/to/file2 ... /path/to/file7; do 
    awk '!a[$0]++' "$file" > "$file".new && \ 
    mv "$file".new "$file" 
done 

Answer 2

использование sort и uniq команды, которые являются UNIX утилитами

cat "your files" | sort | uniq 

Answer 3

Баш 4,0 ++

shopt -s globstar 
for file in **/tag*.txt 
do 
    sort $file|uniq > t && mv t $file 
done 

Answer 4

Внимание, это изменить файл «непосредственно» (в месте редактирования).

perl -i -ne 'print if not $seen{$ARGV}{$_}++' file1 file2 file3 ...