Hadoop - количество слов на узел

Question

Я реализую индивидуальную версию WordCount.java в Hadoop, где меня интересует вывод количества слов на узел.

Например, данный текст:

FindMe FindMe ..... .... .... .. более большой текст ... FindMe FindMe FindMe

FindMe node01: 2 
FindMe node02: 3 

Вот отрывок из моего Mapper

String searchString = "FindMe"; 
while (itr.hasMoreTokens()) { 
    String token = itr.nextToken(); 
    if (token.equals(searchString)) { 
    word.set(token); 
    context.write(word, one); 
    } 
} 

выходов Этот код

FindMe n 

где n - общее количество вхождений во все входные данные.

Как я могу вывести счет для каждого узла вместе с каким-то идентификатором для этого узла, как приведенный выше пример?

Answer 1

Вы можете вывести строку + имя хоста в mapper, чтобы вы могли подсчитать количество слов для каждого узла.

java.net.InetAddress localMachine = java.net.InetAddress.getLocalHost(); 
    String computerName = localMachine.getHostName();  
     String searchString = "FindMe"; 
     while (itr.hasMoreTokens()) { 
      String token = itr.nextToken(); 
      if (token.equals(searchString)) { 
      word.set(token+" "+computerName); 
      context.write(word, one); 
      } 
     }