Как написать псевдокод в Mapreduce?

Question

Предположим, что необходимо проанализировать большое количество журналов доступа к веб-серверу. Эти Журналы являются текстовыми файлами, и они завершают один доступ к каждой строке. Первый (разделенный пробелами) столбец содержит URL-адрес доступной страницы. Цель состоит в том, чтобы создать отчет, в котором перечислены все URL-адреса вместе с количеством обращений. Как написать псевдокод для каждого шага?

Answer 1

В основном все, что вы делаете, это WordCount, но с URL-адресами.

Урезанный "psudeocode" straight from the tutorial.

class Mapper { 

    final IntWritable ONE = new IntWritable(1); 

    map(LongWritable key, Text value, Context context) { 
     String[] columns = value.split(" "); 
     String url = columns[0]; 
     context.write(url, ONE); 
    } 

} 

class Reducer { 

    IntWritable result = new IntWritable(); 

    reduce(Text key, Iterable<IntWritable> values, Context context) { 
     int sum = sum(values); 
     result.set(sum); 
     context.write(key, result); 
    } 
}