Hadoop размер журнала приложений

я проходил через журнал узла данных и для одного конкретного приложения ид я вижу ниже шагиHadoop размер журнала приложений

На самом первом шаге показывает идентификатор приложения с числом байтов

application_0970580980111_1399512/ 4096 bytes Aug 24, 2016 10:27:10 PM

внутри этой папки Я вижу много контейнеров. как

container_095860509_1399512_01_000001/ 4096 bytes Aug 24, 2016 10:09:46 PM 
container_09586050091_1399512_01_000428/ 4096 bytes Aug 24, 2016 10:13:40 PM

И, наконец, в одном контейнере, мы все необходимые журналы

stderr 2043 bytes Aug 24, 2016 10:24:18 PM 
stdout 0 bytes Aug 24, 2016 10:09:45 PM 
syslog 297178648 bytes Aug 24, 2016 10:29:02 PM

Я могу видеть Syslog около 297178648 байт, так что значительная показывать 4096 байт для контейнера и уровня приложений.

источник

2016-08-25 Amit

, какой компонент экосистемы вы используете, вам может потребоваться настроить ведение журнала, чтобы свести к минимуму сообщение журнала, изменить уровень журнала на ошибку или что-то еще ... – vgunnu

4096 байтов - это «вид по умолчанию» для папки. Unix не вычисляет общий размер файла для папки, даже если в какой-либо папке есть файлы. В вашем случае находится папка container, поэтому значение по умолчанию составляет 4096 байт, исключая размер stderr или stdout или syslog. Другой важный факт: если вы попробуете hadoop fs -ls /someFolder, вы получите 0 в качестве размера. Наверное, хуже 4096.

источник

2016-08-25 08:01:50 abhiieor

thanks @abhiieor – Amit

Hadoop размер журнала приложений

ответ

Смежные вопросы