Похожие имена в огромном списке

Question

У меня есть база данных из 50 000 + компаний, которые постоянно обновляются (200+ в месяц).

огромная проблема с повторным содержанием, потому что имена не всегда строги/правильно:
«Супер 1 Магазин»
«Супер Один магазин»
«Супер 1 Магазины»

Редактировать: еще один пример .. который, вероятно, нуждается в другом подходе:
«Ая Пицца» < ---> «Органическая пиццу Ого и компании»

Нам нужен инструмент для сканирования данных для похожих имен. У меня есть опыт работы с Levenshtein Distance и LCS, но они отлично подходят для сравнения, если 2 строки похожи ...
Здесь я должен сканировать 50 000 имен, которые могут быть каждый с каждым, и вычислить там ... общий рейтинг подобия. ..

Мне нужен совет, как атаковать эту проблему, ожидаемые результаты состоят в том, чтобы иметь список с 10-20 группами очень похожих имен и, возможно, дополнительно настроить чувствительность для получения большего количества результатов.

Answer 1

У меня была аналогичная проблема, год назад или около того, и если я хорошо помню, я решил (более или менее) с использованием similar_text и soundex, как сказал, что другие люди в комментариях. Что-то вроде этого:

<?php 

$str1 = "Store 1 for you"; 
$str2 = "Store One 4 You"; 

similar_text(soundex($str1), soundex($str2), $percent); 

if ($percent >= 66){ 
    echo "Equal"; 
    //Send an email for review 
}else{ 
    echo "Different"; 
    //Proceed to insert in database 
} 
?> 

В моем случае использовать процент 66%, чтобы определить компании одинаковы (в этом случае не вставлять в базу данных, но отправить по электронной почте мне рассмотреть и проверить, правильно).

Через несколько месяцев с помощью этих решений я решил использовать для своих компаний уникальный код (CIF в моем случае, потому что он уникален компанией здесь, в Испании).

Answer 2

Я думаю, что вам следует пройти этот список компаний вручную и создать таблицу с уникальной записью для каждой компании. Затем используйте таблицу «много-к-одному», в которой вы ссылаетесь на разные имена в правильной компании. Я думаю, что это то, что понимается под нормой .

Таблица: companies:

|id|base_name 
|1 |Super 1 Store 

Таблица: company_mapping:

|id|company_id|name 
|1 |1   |Super 1 Store 
|2 |1   |Super One Store 
|3 |1   |Super 1 Stores 

Answer 3

чисто это зависит от того, сколько мы должны терпеть, чтобы рассмотреть 2 строки как похожи .. Саундэкс может быть полезен также

select soundex('Super One Store') returns S165236 
    select soundex('Super 1 Store'); returns S16236 
    select soundex('Super One Stores') returns S1652362 

S16236 IS COMMON IN ALL case, вы можете использовать фильтр как ниже

select * from (
select 'Super One Store' as c 
union 
select 'Super 1 Store' as c 
union 
select 'Super One Stores' as c 
union 
select 'different one' as c 
union 
select 'supers stores' as c 
) tmp 
where soundex(c) like CONCAT('%', soundex('Super store'), '%') 
or soundex(c) like CONCAT('%', soundex('Super one store'), '%')