Несоответствие в вычислении ближайших соседей между R и Java + WEKA

Question

Я в процессе отладки библиотеки и другой реализации, которая включает в себя вычисление k-ближайших соседей. Я задаю вопрос примером, с которым мне трудно понять.

Во-первых, я объясню, пожалуйста, демонстрацию с примером игрушки, затем покажите результат, который приведет к вопросу.

Задача

Демонстрационный здесь читает файл CSV, имеющий 10 числа 2-мерных точек данных. Задача состоит в том, чтобы найти расстояние всех точек данных от первого datapoint и перечислить все точки и расстояния от первого datapoint в неубывающем порядке.

В принципе, это компонент алгоритма на основе kNN, и я нахожу несоответствие при выполнении Java-версии (компонента библиотеки) и когда я пишу ее в R. Чтобы продемонстрировать несоответствие, рассмотрите следующие коды ,

Код 1: Java + ВЕК

Следующий код использует Java и WEKA. Я использовал LinearNNSearch для вычисления ближайших соседей. Причина использования этого заключается в том, что LinearNNSearch используется в конкретной библиотеке, которую я отлаживаю и/или сравниваю с R-кодом.

import weka.core.converters.CSVLoader; 
import weka.core.Instances; 
import weka.core.DistanceFunction; 
import weka.core.EuclideanDistance; 
import weka.core.Instances; 
import weka.core.neighboursearch.LinearNNSearch; 
import java.io.File; 

class testnn 
{ 
    public static void main (String args[]) throws Exception 
    { 
    // Load csv 
    CSVLoader loader = new CSVLoader(); 
    loader.setSource (new File (args[0])); 

    Instances df = loader.getDataSet(); 

    // Set the LinearNNSearch object 
    EuclideanDistance dist_obj = new EuclideanDistance(); 

    LinearNNSearch lnn = new LinearNNSearch(); 
    lnn.setDistanceFunction(dist_obj); 
    lnn.setInstances(df); 
    lnn.setMeasurePerformance(false); 

    // Compute the K-nearest neighbours of the first datapoint (index 0). 
    Instances knn_pts = lnn.kNearestNeighbours (df.instance (0), df.numInstances()); 

    // Get the distances. 
    double [] dist_arr = lnn.getDistances(); 

    // Print 
    System.out.println ("Points sorted in increasing order from "); 
    System.out.println (df.instance (0)); 
    System.out.println ("V1,\t" + "V2,\t" + "dist"); 
    for (int j = 0; j < knn_pts.numInstances(); j++) 
    { 
     System.out.println (knn_pts.instance (j) + "," + dist_arr[j]); 
    } 
    } 
} 

Код 2: R

Для вычисления расстояния я использовал dist. Использование daisy также получает идентичный ответ.

// Read file 
df <- read.csv ("dat.csv", header = TRUE); 

// All to all distances, and select distances of points from first datapoint (index 1) 
dist_mat <- as.matrix (dist (df, diag=TRUE, upper=TRUE, method="euclidean")); 
first_pt_to_all <- dist_mat[,1]; 

// Sort the datapoints and also record the ordering 
sorted_order <- sort (first_pt_to_all, index.return = TRUE, decreasing = FALSE); 

// Prepare dataset with the datapoints ordered in the non-decreasing order of the distance from the first datapoint 
df_sorted <- cbind (df[sorted_order$ix[-1],], dist = sorted_order$x[-1]); 

// Print 
print ("Points sorted in increasing order from "); 
print (df[1,]); 

print (df_sorted); 

Выходы

Для облегчения сравнения я помещаю на стороне два выхода бок. Обе таблицы отображают точки в неубывающем порядке.

• левая часть таблицы порождается R, причем крайний левый столбец в выводе R обозначает исходный индекс DataPoint.
• правая сторона таблицы генерируется Java + WEKA.

 
    R            Java + WEKA 
[1] "Points sorted in increasing order from " Points sorted in increasing order from 
     V1  V2 
1 0.560954 0.313231      0.560954,0.313231 
     V1  V2  dist    V1,  V2,  dist 
5 0.866816 0.476897 0.3468979   0.866816,0.476897,0.3280721928065624 
10 0.262637 0.554558 0.3837079   0.262637,0.554558,0.37871658916675316 
4 1.038752 0.396173 0.4849436   1.038752,0.396173,0.43517244797543775 
2 0.330345 -0.137681 0.5064604   1.053889,0.486349,0.4795184359817083 
7 1.053889 0.486349 0.5224507   1.113799,0.42203,0.506782009966262 
6 1.113799 0.422030 0.5634490   0.330345,-0.137681,0.5448256434359463 
8 0.416051 -0.338858 0.6679947   0.416051,-0.338858,0.7411841020052856 
3 0.870481 -0.302856 0.6894709   0.870481,-0.302856,0.7425541767563134 
9 1.386459 0.425101 0.8330507   1.386459,0.425101,0.7451474897289354 

Проблема

расстояния явно отличаются, и некоторые из заказа DataPoint также различны.

Визуализация

Я нанесены 10 баллов и пронумерованы их в соответствии с их отсортированном порядке, указанном цифрами в графике.

• черный текст указывает точки на графике из отсортированного набора данных, генерируемого R
• красный текст указывает точки на графике из отсортированного набора данных, генерируемого Java + ВЕКА

Следовательно, 4, 5 и 6 отличаются. Если два datapoints были эквидистантными, то это объясняло бы различный порядок, но нет двух точек, которые эквидистантны от первого datapoint.

Dataset

 
"V1", "V2" 
0.560954,0.313231 
0.330345,-0.137681 
0.870481,-0.302856 
1.038752,0.396173 
0.866816,0.476897 
1.113799,0.42203 
1.053889,0.486349 
0.416051,-0.338858 
1.386459,0.425101 
0.262637,0.554558 

Вопрос

• Почему расстояния в дисте колонн различны, что приводит к различному упорядочению ближайших соседних точек?
• Есть ли ошибка в коде, или как я использую библиотеки? Я правильно использую эти (особенно WEKA)?

Комментарий, если что-то неясно или для получения дополнительной информации.

Answer 1

Как отмечено в комментариях, расстояния R верны. Проблема заключается в стандартах WEKA. Вы использовали:

EuclideanDistance dist_obj = new EuclideanDistance(); 

Euclidean distance in WEKA имеет параметры со значениями по умолчанию. Один из них - DontNormalize=FALSE, то есть по умолчанию WEKA нормализует данные перед вычислением расстояния. Я не очень помогаю в java, поэтому сделаю это в R. Если вы масштабируете данные так, чтобы для каждой переменной минимальное значение равно нулю, а максимальное значение равно единице, вы получите дистанционные меры, предоставляемые WEKA.

NData = Data 
NData[,1] = (NData[,1]-min(NData[,1]))/(max(NData[,1])-min(NData[,1])) 
NData[,2] = (NData[,2]-min(NData[,2]))/(max(NData[,2])-min(NData[,2])) 
dist(NData) 

Эти расстояния соответствуют тому, что вы показываете для WEKA. Чтобы получить тот же результат, что и R, просмотрите параметры для EuclideanDistance в WEKA.