Как удалить повторяющиеся строки в файле в unix?

Question

Я могу удалить повторяющиеся строки в файлах, используя следующие команды: 1) sort -u и uniq команды. возможно ли использование sed или awk?

Answer 1

Там есть «известный» AWK идиома:

awk '!seen[$0]++' file 

Он должен сохранить уникальные строки в памяти, но она сохраняет порядок файлов.

Answer 2

После сортировки мы можем использовать эту команду SED

sed -E '$!N; /^(.*)\n\1$/!P; D' filename 

Если файл несортированный, то вы можете использовать с комбинацией команды.

sort filename | sed -E '$!N; /^\(.*\)\n\1$/!P; D' 

Answer 3

рода и уник них только необходимость удаления дубликатов кошачью файла | сортировать | уник >> filename2

, если его файл состоит из числа используют сорт -n