Как объединить два CSV-файлы не включая дубликатов

Question

Если у меня есть CSV-файлы, как этот

lion@mammal@scary animal 
human@mammal@human 
hummingbird@bird@can fly 
dog@mammal@man's best friend 
cat@mammal@purrs a lot 
shark@fish@very scary 
fish@fish@blub blub 

и у меня есть еще один файл CSV, как этот

cat@mammal@purrs a lot 
shark@fish@very scary 
fish@fish@blub blub 
rockets@pewpew@fire 
banana@fruit@yellow 

Я хочу выход быть, как это :

lion@mammal@scary animal 
human@mammal@human 
hummingbird@bird@can fly 
dog@mammal@man's best friend 
cat@mammal@purrs a lot 
shark@fish@very scary 
fish@fish@blub blub 
rockets@pewpew@fire 
banana@fruit@yellow 

некоторые из вещей в первом CSV-файле присутствуют во втором файле csv; они почти перекрываются. Как я могу объединить эти файлы csv с правильным порядком? Гарантируется, что новые записи всегда будут первыми рядом строк в начале первого CSV-файла.

Answer 1

Soultion 1:

awk '!a[$0]++' file1.cvs file2.cvs 

Решение 2 (если не заботиться о первоначальном порядке)

sort -u file1 file2 

Answer 2

Вот один из способов:

• Использование cat -n для конкатенации входных файлов и номера дополнительных номеров
• Использование sort -u удалить дубликаты данных
• Используйте sort -n сортировать снова предваряется номером
• Используйте cut, чтобы удалить нумерацию

 
$ cat -n file1 file2 | sort -uk2 | sort -nk1 | cut -f2- 
lion@mammal@scary animal 
human@mammal@human 
hummingbird@bird@can fly 
dog@mammal@man's best friend 
cat@mammal@purrs a lot 
shark@fish@very scary 
fish@fish@blub blub 
rockets@pewpew@fire 
banana@fruit@yellow 
$