Выход компрессора Hadoop не работает?

Question

Я использую hasoop cdh4.1.2, и моя программа mapper - это почти эхо входных данных. Но в моей странице статуса работы, я увидел

FILE: Number of bytes written 3,040,552,298,327 

почти равен

FILE: Number of bytes read 3,363,917,397,416 

для картографов, в то время как я уже установил

conf.set("mapred.compress.map.output", "true"); 

, кажется, их сжатие алгоритма не работает для моей работы? почему это?

Answer 1

Имеет ли ваша работа редуктор?

Если это так, установите флажок «Уменьшить байты в случайном порядке». Если это значительно меньше (1/5 или около того) «Отображать выходные байты», вы можете предположить, что вывод карты сжат. Копирование происходит после того, как карта выполнена, он может показывать фактический размер данных, которые он имеет, а не сжатый размер.

Если вы все еще сомневаетесь в том, работает ли он, отправьте задание с сжатием и без него и сравните «Уменьшить байты в случайном порядке». Что касается сжатия на выходе карты, то это означает, что «Сократить байты в случайном порядке».