Нужна быстрая помощь с использованием AWK/sort/uniq для удаления строк, имеющих одинаковые значения в первом столбце из простого текстового файла

Question

У меня есть куча текстовых файлов со следующим содержимым в столбцах 1 и столбце2 (разделенных пробелом):

address0 data0

address1 data1

.

.

.

addressN DataN

Все значения данных являются уникальными (случайным образом), но некоторые значения адресов повторяются. Как использовать AWK/sort/uniq для удаления строк с уже указанными адресами?

В принципе, не должно быть дубликатов адресов в текстовом файле, независимо от того, что связано с данными.

Answer 1

sort -k1 your_file | awk '{ if ($1 != last_address_seen) {print $0; last_address_seen=$1}}'

Answer 2

awk ' 
    $1 in seen {next} 
    {print; seen[$1] = 1} 
' file ... 

Answer 3

sort -k1 -u your_file > outputfile 

команды Большинство UNIX сортировки будет поддерживать опцию -u, которая будет держать только первый из двух линий, которые сравнивают равные по всем клавишам.