Где найти информацию о файловой системе счетчиков в MapReduce

Question

При выполнении задания MapReduce я получаю выход, как это:

11/09/15 21:35:16 INFO mapreduce.Job: Counters: 24 
File System Counters 
FILE: Number of bytes read=255967 
FILE: Number of bytes written=397273 
FILE: Number of read operations=0 
FILE: Number of large read operations=0 
FILE: Number of write operations=0 
Map-Reduce Framework 
Map input records=5 
Map output records=5 
Map output bytes=45 
....... 

Здесь в первой строке говорится Счетчики: 24. Где я могу найти больше информации об этих счетчиках.

Меня больше всего интересует большие операции чтения = 0, что это такое?
Если у кого-то есть какие-либо знания или ссылки на них, ответьте пожалуйста.

Спасибо.

Answer 1

Я бы порекомендовал вам взглянуть на Tom White's Hadoop book, особенно в главе 8.1, где он дает подробный список счетчиков и их значения. Вы можете найти онлайн-версию here.

Для операций больших операций чтения он соответствует количеству операций чтения большой файловой системы, таких как файлы списка в большой папке. Он был введен в HADOOP-6859, где он описан следующим образом: в файловой системе большинство операций небольшие, за исключением listFiles для большого каталога. Итеративный listFiles был представлен в HDFS, чтобы разбить одну большую операцию на более мелкие шаги. Этот счетчик увеличивается для каждой итерации listFiles при перечислении файлов в большой папке.

Этот билет также объясняет некоторые из других новых счетчиков:

• операции чтения - количество операций чтения, таких как listStatus, getFileBlockLocations, открытый и т.д.
• операции записи - количество записи такие операции, как создание, добавление, установкаPermission и т. д.

Я бы посоветовал вам ознакомиться с классом FileSystem.Statistics, который детализирует s некоторые дополнительные счетчики файловой системы, как описано here