Алгоритм реального мира - измерение уникальности входных значений

Question

У меня есть список пар значений ключа. Для каждого ключа я хочу видеть, насколько уникальными являются значения. Например, для конкретного ключа k1 все значения могут быть одинаковыми. (лучший случай). Для ключа k2 половина значений является одним типом, а другая половина отличается. . . Аналогично, для ключа kx ни одно из значений не соответствует (наихудший случай).

Я хочу присвоить каждому из этих ключей ранги (или проценты, что угодно) на основе вышеизложенного и иметь окончательный порядок, чтобы я мог отфильтровывать те, у которых много разных значений (скажем, выше предопределенного порогового ранга или процентов).

Я как-то думаю, что это несколько связано с некоторыми понятиями, которые я изучил в своем курсе интеллектуального анализа данных, но просто не могу вспомнить эффективно.

Спасибо.

Answer 1

Возможно, вы можете использовать для этого Information Theory.

Для каждой клавиши вы можете вычислить значения entropy. Чем выше энтропия, тем более разнообразны значения ключа. Вы можете использовать это для ранжирования ключей.

В следующей статье обсуждаются некоторые связанные темы: Calculating Entropy for Data Mining.

Answer 2

В терминах интеллектуального анализа данных от http://en.wikipedia.org/wiki/Association_rule_learning вы можете рассматривать индекс как средство прогнозирования значения, и в этом случае вас может заинтересовать доверие - процентное соотношение наиболее частого значения для этого индекса. Вы также можете посмотреть на вероятность того, что два случайно выбранных значения будут одинаковыми, что будет суммой квадратов частот значений, или http://en.wikipedia.org/wiki/Shannon_entropy - которые будут иметь схожие свойства, но включают в себя логарифмы.