Несбалансированный коэффициент KMeans?

Question

Edit: Ответ эти вопросы сильно обсуждается в: Sum in Spark gone bad

---

В Compute Cost of Kmeans, мы увидели, как можно вычислить стоимость его модели KMeans. Мне было интересно, можем ли мы вычислить неуравновешенный фактор?

Если такой функции не предоставляется Spark, есть ли простой способ реализовать это?

---

Я не смог найти реф для несбалансированного фактор, но он должен быть похож на unbalanced_factor Яэль в (мои комментарии):

// @hist: the number of points assigned to a cluster 
// @n: the number of clusters 
double ivec_unbalanced_factor(const int *hist, long n) { 
    int vw; 
    double tot = 0, uf = 0; 

    for (vw = 0 ; vw < n ; vw++) { 
    tot += hist[vw]; 
    uf += hist[vw] * (double) hist[vw]; 
    } 

    uf = uf * n/(tot * tot); 

    return uf; 

} 

, которые я нашел here.

Так идея заключается в том, что tot (для всего) будет равно числу точек, назначенных для кластеров (т.е. равен размеру нашего набора данных), в то время как uf (для несбалансированного фактора) имеет квадрат числа точек, назначенных кластеру.

И, наконец, он использует uf = uf * n/(tot * tot);, чтобы вычислить его.

Answer 1

В python это может быть что-то вроде:

# I suppose you are passing an RDD of tuples, where the key is the cluster and the value is a vector with the features. 
def unbalancedFactor(rdd): 
    pdd = rdd.map(lambda x: (x[0], 1)).reduceByKey(lambda a, b: a + b) # you can obtain the number of points per cluster 
    n = pdd.count() 
    total = pdd.map(lambda x: x[1]).sum() 
    uf = pdd.map(lambda x: x[1] * float(x[1])).sum() 

    return uf * n/(total * total)