MapReduce вопрос подсчета

Question

Я новичок в hadoop, я пытаюсь создать программу, которая возьмет входной файл, описывающий график с ребрами (например: (A,B), (A,C), (B,D), (A,D)). Я хочу подсчитать градусы каждой вершины и отобразить ее так :

(A,B) d(A)=3 
(A,C) d(A)=3 
(A,D) d(A)=3 
(A,B) d(B)=2 
(B,D) d(B)=2 
(A,C) d(C)=1 
(A,D) d(D)=2 
(B,D) d(D)=2 

на данный момент я был в состоянии сделать свою работу хорошо карты (расщепление 2 вершины и испускают <Key, Value> как <Vertex, Edge> (например: <A, (A,B)>), но сократить есть проблема, что я не могу понять, когда. Я делаю context.write(key, result); вне цикла for, результат отображается всегда 1. Я пытался отлаживать, но переменная sum имела правильное значение.

Сокращать

public void reduce(Text key, Iterable<Text> values, 
        Context context 
       ) throws IOException, InterruptedException { 
    int sum = 0; 
    for (Text val : values) { 
     sum+=1; 
     result.set("d("+ key +")=" + sum); 
     // WRITE INSIDE THE LOOP 
     context.write(key, result); 
    } 
} 

Результат:

A d(A)=1 
A d(A)=2 
A d(A)=3 
B d(B)=1 
B d(B)=2 
C d(C)=1 
D d(D)=1 
D d(D)=2 

Снижение v2:

public void reduce(Text key, Iterable<Text> values, 
        Context context 
       ) throws IOException, InterruptedException { 
    int sum = 0; 
    for (Text val : values) { 
     sum+=1; 
     result.set("d("+ key +")=" + sum); 
    } 
    // WRITE HERE NOW 
    context.write(key, result); 
} 

Результат v2:

A d(A)=1 
B d(B)=1 
C d(C)=1 
D d(D)=1 

Можете ли вы сказать мне, что неправильно с кодом или/и почему он ведет себя таким образом?

Answer 1

Существует проблема как с кодовыми версиями Reducer. Вы можете пойти с v2, но с изменением. Извлеките этот result.set("d("+ key +")=" + sum); из цикла.

Используйте этот код:

public void reduce(Text key, Iterable<Text> values, 
        Context context 
       ) throws IOException, InterruptedException { 
    int sum = 0; 
    for (Text val : values) { 
     sum+=1; 
    } 
    result.set("d("+ key +")=" + sum); 
    // WRITE HERE NOW 
    context.write(key, result); 
}