Я знаю, что hadoop использует log4 для ведения журнала, и мне удалось просмотреть свойства в conf/log4j.properties, чтобы выяснить, где находятся существующие файлы журналов. Тем не менее, есть ли способ, чтобы я направлял журналы из задания mapbudce hbase в совершенно новый файл? Идея заключается в том, что у меня есть задание, которое запланировано на ночь, и мне нравится иметь возможность регистрироваться в /var/log/myjob.log для этого задания, чтобы я мог проверить этот файл на наличие ошибок/исключений, вместо того, чтобы проходить через пользовательский интерфейс jotrackter. Это возможно? Если да, то как? Также обратите внимание, что задание будет отправлено в кластер, поэтому, пожалуйста, советьте, должен ли файл журнала находиться на HDFS или на обычной (linux) платформе. Если на Linux тогда это должно быть на всех узлах или просто мастере хаопа?log4j for hbase mapreduce jobs
Спасибо за предложения.
Ravi благодарит за предложение. Но я не уверен, могу ли я сделать это с помощью задания mapreduce, поскольку он работает распределенным образом. – chapstick