TSQL Query для анализа текста

Question

У меня есть таблица с порядковым номером, отмененной датой и причиной. Поле причины - это поле varchar (255), и оно было написано многими разными представителями продаж и действительно сложно группировать по той причине, что мне нужно создать отчет, чтобы классифицировать причины отмены. Каков наилучший способ анализа причин с TSQL?

Образец причин, введенными торговый представитель

cust already has this order going out 
cust can not hold for item Called to cancel order 
cust doesn't want to pay for shipping 
wife ordered same item from different vendor, sent email 
cst made a duplicate order, sent email 
cst can't hold 
Cust doesn't want to go through verification process so is cancelling order 
doesn't ant to hold for Bo 
doesn't want 
Cust called to cancel the order He can no longer get the product he wants 
cnt hld 
will not comply with export req 
cant' hold 
Custs request 
Cust will not hold for BO 
per. cust. request. 

КСТАТИ У меня есть SQL Server 2005.

Answer 1

часть вашей проблемы в том, что это они на самом деле не коды причин. звучит как проблема с вашей схемой ко мне. если для ссылки не существует предопределенных кодов причин, и вы разрешаете бесплатный ввод текста по каждой причине, тогда нет никакого способа сделать это напрямую, за исключением отвлечения особых причин назад, что, вероятно, не очень полезно.

только идея, можете ли вы добавить еще один столбец в таблицу, даже если он находится в среде temp или test, а затем дать бизнес-пользователям возможность назначать код (например, 1 для ошибочных кораблей, 2 для дублированных заказов , 3 за неправильный товар и т. Д.) До отмены каждого заказа. затем выполните анализ.

Я предполагаю, что это то, чего они ждут от вас, но я не знаю, что я вижу лучший способ. вы всегда можете выполнить анализ самостоятельно, если у вас есть полномочия/знания, но это может быть болезненно, если у вас есть тонна отмены.

edit- теперь я вижу, что вы отметили это с помощью регулярного выражения ... можно было бы установить указанные ключевые слова, чтобы вытащить записи, но после этого необходимо будет иметь некоторый толерантность, а затем ручной анализ для предметов, которые не попадают ни в одну указанную категорию из-за орфографических ошибок и т. д./

Answer 2

+1 к @jmatthews, вам действительно нужно иметь коды причин, которые выбраны, а затем, возможно, разрешить запись в свободной форме по полной причине ,

Если это не вариант, вы можете посмотреть text clustering. Не ожидайте, что это будет быстро или легко, но это все еще открытая исследовательская тема и связана как с AI, так и с машинным обучением.

Answer 3

Посмотрите на поиск сроков в SSIS, here is an article для чтения.