Hadoop задание для выполнения заданий с графическим интерфейсом

Question

Для определенной задачи MapManager MapReduce я уже выполнил полное время выполнения задачи mapper. В общем случае, картограф имеет три шага: (1) чтение ввода из HDFS или другого источника, такого как Amazon S3; (2) входные данные процесса; (3) записать промежуточный результат на локальный диск. Теперь мне интересно, можно ли узнать время, затрачиваемое каждым шагом.

Моя цель - получить результат (1), сколько времени требуется, чтобы считыватели считывали данные с HDFS или S3. В результате просто указывается, как быстро читатель может прочитать. Это больше похоже на производительность ввода-вывода для картографа; (2) сколько времени требуется, чтобы обработчик обработал эти данные, это больше похоже на вычислительную способность задачи.

У кого-нибудь есть идеи, как получить эти результаты?

Спасибо.

Answer 1

Просто внедрите только устройство чтения только для чтения, которое ничего не испускает. Затем это даст указание о том, сколько времени требуется, чтобы каждый раскол читался (но не обрабатывался).

Вы можете в качестве дальнейшего шага определить переменную, переданную заданию во время выполнения (через свойства задания), которая позволяет вам выполнить только одно из следующих действий (например, проанализируя переменную в отношении объекта Enum, а затем включив значения):

• просто читать
• просто читать и процесс (но не писать/испускают ничего)
• сделать это все

Это, конечно, предполагает, что у вас есть-доступ s к коду сопоставления.