Удалить дубликаты заголовков в awk

Question

Я использовал использованный cat, чтобы объединить несколько файлов, и все они имеют одинаковые заголовки. Есть ли в любом случае я могу сохранить появление заголовка 1st и удалить последующие заголовки внутри конкатенированного файла?

Спасибо!

Пример:

FirstName, LastName, Phone, Zip 
(data) 
(data) 
(data) 
FirstName, LastName, Phone, Zip 
(data) 
(data) 
(data) 

Answer 1

Я бы сделать это так:

sed '1h;2,$G;s/^\(.*\)\n\1$//;/./P;d' filename 

Answer 2

Вы можете сделать это:

cp file1 result 
tail -q -n +2 file2 file3 file4 >> result 

То есть, начать со всем содержимым file1, затем добавить из других файлов, начиная с линии 2 каждого из них. Таким образом, вы избегаете необходимости искать дополнительные заголовки и удалять их позже.

Если вы хотите, вот другая формулировка того же:

head -1 file1 > result 
tail -q -n +2 file1 file2 file3 file4 >> result 

Answer 3

Попробуйте:

sed -e '2,$s/FirstName, LastName, Phone, Zip//g' -e '/^$/d' Yourfile.txt 

Вы можете заменить "FirstName, LastName, Телефон, Zip" с любым заголовком у вас есть. От 2-й линии до конца файла, он удалит скороговорку заголовка с, а затем удалить пустые строки с/^ $/д»

Answer 4

Вот awk версия. Это будет Скип все линии с FirstName кроме линии 1

awk 'NR>1 && /^FirstName/ {next}1' file 
FirstName, LastName, Phone, Zip 
(data) 
(data) 
(data) 
(data) 
(data) 
(data) 

Если строка заголовка сделать изменения, нам нужен образец для подражания.

Answer 5

AWK путь

awk '!a[$0];NR==1{a[$0]++}' file