Оценка параметров в DBSCAN

Question

Мне нужно найти естественные классы существительных на основе их распределения с различными предлогами (например, агенты, инструментальные, время, место и т. Д.). Я попытался использовать кластеры k-mean, но с меньшей помощью, это не сработало, было много совпадений над классами, которые я искал (вероятно, из-за негладкой формы классов и случайной инициализации в k-средствах).

Теперь я работаю над использованием DBSCAN, но мне трудно понять значение эпсилона и значение мини-точек в этом алгоритме кластеризации. Могу ли я использовать случайные значения или мне нужно их вычислить. Может кто-нибудь помочь. В частности, с epsilon, по крайней мере, как вычислить его, если нужно.

Answer 1

Используйте информацию о домене, чтобы выбрать параметры. Эпсилон - это радиус. Вы можете думать об этом как о минимальном размере кластера.

Очевидно, что случайные значения не будут работать очень хорошо. В качестве эвристики вы можете попытаться взглянуть на k-дистанционный сюжет; но это тоже не автоматическое.

Первое, что нужно сделать в любом случае: Выберите хорошую функцию расстояния для ваших данных. И выполните соответствующую нормализацию.

Что касается "minPts", это снова зависит от ваших данных и . Один пользователь может иметь совсем другое значение, чем другое. И, конечно, миниатюры и Эпсилон связаны. Если вы удвоите epsilon, вам будет примерно необходимо увеличить ваши minPts на 2^d (для евклидова расстояния, потому что это увеличивает объем гиперсферы!)

Если вы хотите много мелких и мелких подробных кластеров, выберите низкий minpts. Если вам нужно больше и меньше кластеров (и больше шума), используйте более крупные minpts. Если вы вообще не хотите никаких кластеров, выберите minpts больше, чем ваш размер набора данных ...