Удаление повторяющихся строк в vi?

Question

У меня есть текстовый файл, содержащий длинный список записей (по одному на каждую строку). Некоторые из них являются дубликатами, и я хотел бы знать, возможно ли (и если да, как) удалить любые дубликаты. Я заинтересован в том, чтобы сделать это из vi/vim, если это возможно.

Answer 1

Если вы в порядке сортировки файла, вы можете использовать:

:sort u 

Answer 2

Попробуйте это:
:%s/^\(.*\)\n\1$/\1/

Сделайте копию, хотя, прежде чем попробовать. Это непроверено.

Answer 3

Выберите строки в режиме визуального линии (Сдвиг + v), затем :!uniq. Это поймает только дубликаты, которые появляются один за другим.

Answer 4

Я бы использовал !}uniq, но это работает только в том случае, если нет пустых строк.

Для каждой строки в файле используйте: :1,$!uniq.

Answer 5

Я бы объединить два вышеуказанные ответы:

go to head of file 
sort the whole file 
remove duplicate entries with uniq 

1G 
!Gsort 
1G 
!Guniq 

Если вы были заинтересованы в том, как были удалены многие повторяющиеся строки, используйте управление-G до и после того, как проверить количество строк, присутствующих в вашем буфер.

Answer 6

Относительно того, как Uniq может быть реализован в VimL, ​​найдите Uniq в plugin I'm maintaining. Вы увидите различные способы его реализации, которые были предоставлены в рассылке Vim.

В противном случае :sort u действительно способ пойти.

Answer 7

g/^\(.*\)$\n\1/d 

Работы для меня на Windows. Сначала нужно сортировать строки.

Answer 8

Из командной строки выполните:

sort file | uniq > file.new 

Answer 9

:%s/^\(.*\)\(\n\1\)\+$/\1/gec 

или

:%s/^\(.*\)\(\n\1\)\+$/\1/ge 

это мой ответ для вас, она может удалить несколько строк дубликатов и только сохранить один не удалить!

Answer 10

awk '!x[$0]++' yourfile.txt Если вы хотите сохранить заказ (то есть сортировка неприемлема). Чтобы вызвать его из vim, можно использовать :!.