Удаление «почти дубликатов» с использованием SAS или Excel

Question

Я работаю в SAS, и у меня есть набор данных с 2 столбцами, и я хочу не только удалить дубликаты, но и «почти» дубликаты. Данные выглядит следующим образом:

**Brand  Product** 
Coca Cola Coca Cola Light 
Coca Cola Coca Cola Lgt 
Coca Cola Cocacolalight 
Coca Cola Coca Cola Vanila 
    Pepsi  Pepsi Zero 
    Pepsi  Pepsi Zro 

я не знаю, если это действительно возможно, но то, что я хотел бы файл, чтобы посмотреть, как после удаления «дубликатов», как то:

**Brand  Product** 
    Coca Cola Coca Cola Light 
    Coca Cola Coca Cola Vanila 
     Pepsi  Pepsi Zero 

У меня нет предпочтения, если у конечной таблицы будет, например, «Pepsi Zero» или «Pepsi Zro», если нет «повторяющихся» значений.

Я думал, есть ли способ сравнить, например, первые 4-5 букв, и если они совпадают, то рассматривать их как дубликаты. Но, конечно, я открыт для предложений. Если есть способ сделать даже в excel, мне было бы интересно его услышать.

Answer 1

Я собираюсь начать прямо со ссылкой на Джефф answer:

SAS имеет по крайней мере пару функций для вычисления расстояния редактирования между двумя строками:

Compged, для общего расстояния редактирования: http://support.sas.com/documentation/cdl/en/lrdict/64316/HTML/default/viewer.htm#a002206133.htm

Complev, для расстояния Левенштейна: http://support.sas.com/documentation/cdl/en/lrdict/64316/HTML/default/viewer.htm#a002206137.htm

Существует также функция spedis() для сравнения расстояний редактирования.

Теперь все это здорово, но мой личный фаворит - это функция soundex(), которая позволит вам проверить, является ли звук двух слов «тем же». Это не будет на 100% правильным, но в этом случае результаты будут работать хорошо.

Сначала некоторые данные:

Data HAVE; 
    attrib name length=$20 alt_name length=$20; 
    infile datalines dsd dlm=',' truncover; 
    input name $ alt_name $; 
    datalines; 
Coca Cola ,Coca Cola Light 
Coca Cola ,Coca Cola Lgt 
Coca Cola ,Cocacolalight 
Coca Cola ,Coca Cola Vanila 
Pepsi  ,Pepsi Zero 
Pepsi  ,Pepsi Zro 
; 
Run; 

Получить все возможные комбинации слов, которые мы хотим сравнить, и вычислить soundex() с для Eyeballing:

proc sql noprint; 
    create table cartesian as 
    select a.name, 
     a.alt_name as alt_name1, 
     b.alt_name as alt_name2, 
     soundex(a.alt_name) as soundex_a, 
     soundex(b.alt_name) as soundex_b 
    from have a, have b 
    where a.name = b.name 
    and soundex(a.alt_name) eq soundex(b.alt_name) 
    ; 
quit; 

Теперь я оставлю его использовать как упражнение для дедуплирования результирующего списка. Но в основном это скажет вам, какие слова совпадают. Если вы получаете ложные срабатывания для совпадений, просто добавьте их в список исключений, чтобы вручную преобразовать эти конкретные значения.