Консолидация уровней факторов таблицы данных в R

Question

Предположим, у меня очень большая таблица данных, один столбец которой - «ManufacturerName». Данные не были введены равномерно, поэтому это довольно грязно. Например, могут быть такие наблюдения, как:

ABC Inc 
ABC, Inc 
ABC Incorporated 
A.B.C. 
... 
Joe Shmos Plumbing 
Joe Shmo Plumbing 
... 

Я ищу автоматический способ в R, чтобы попытаться рассмотреть похожие имена как один факторный уровень. Я изучил синтаксис, чтобы вручную сделать это, например:

levels(df$ManufacturerName) <- list(ABC=c("ABC", "A.B.C", ....), JoeShmoPlumbing=c(...)) 

Но я пытаюсь думать о автоматическом решении. Очевидно, что это не будет идеальным, поскольку я не могу предвидеть каждый тип перестановок в таблице данных. Но, возможно, что-то, что ищет уровни факторов, вытесняет знаки пунктуации/специальные символы и создает уровни, основанные на обычных первых словах. Или любые другие идеи. Благодаря!

Answer 1

Посмотрите на пакет stringdist. Для начала, вы могли бы сделать что-то вроде этого:

library(stringdist) 

x <- c("ABC Inc", "ABC, Inc", "ABC Incorporated", "A.B.C.", "Joe Shmos Plumbing", "Joe Shmo Plumbing") 
d <- stringdistmatrix(x) 
# 1 2 3 4 5 
# 2 1    
# 3 9 10   
# 4 6 7 15  
# 5 16 16 16 18 
# 6 15 15 15 17 1 

Для получения дополнительной справки см ?stringdistmatrix или сделать поиск на StackOverflow для нечеткого соответствия, приближенного соответствия строки, функции строки расстояния и agrep.