Я обнаружил, что фактическая статистика использования контейнеров поддерживается пряжей в соответствии с этим билетом jira (https://issues.apache.org/jira/browse/YARN-2984). Я хотел бы знать, может ли данный идентификатор приложения получить список использования памяти в контейнерах, назначенных этому заданию, с использованием любых команд пряжи?Команды для получения метрики фактического использования памяти контейнера YARN
ответ
Я использую Hadoop 2.7.0.
CLI:
пряжу CLI не подвергает метрику памяти, связанную с контейнером.
Вы можете запросить статус контейнера, используя команду: yarn container -status <Container ID>
.
См., Например, когда я выполнил эту команду, я получил следующий вывод:
CMD PROMPT>yarn container -status container_e55_1451819646302_0001_01_000007
Container Report :
Container-Id : container_e55_1451819646302_0001_01_000007
Start-Time : 1451909358911
Finish-Time : 0
State : RUNNING
LOG-URL : http://mballur.myorg.com:50060/node/containerlogs/container_e55_1451819646302_0001_01_000007/mballur
Host : mballur.myorg.com:45454
NodeHttpAddress : http://mballur.myorg.com:50060
Diagnostics : null
Отчет Контейнер содержит (Это не содержит никакой памяти информации, связанной с):
- Container-Id: ID контейнера
- Start-Time: Время начала для контейнера
- Время окончания: время окончания для конатаина. Ноль, если контейнер все еще работает
- Штат: Штат контейнера
- LOG-URL: бревенчатый URL контейнера
- Ведущий: Идентификатор узла, где контейнер работает
- NodeHttpAddress: HTTP адрес контейнера
- Диагностика: любая диагностическая информация.
UI:
Но, в пользовательском интерфейсе, когда вы открываете страницу для конкретного контейнера, вы увидите следующие детали:
Пользовательский интерфейс содержит Ресурс: информация для контейнера. Там вы можете увидеть память и использование ЦП (1228 памяти, 1 VCores)
Спасибо за информацию. Еще один запрос заключается в следующем: отображает ли в пользовательском интерфейсе память в реальном времени в контейнере или что-то еще? –
Да. Это в основном определяется следующими свойствами: mapreduce.map.memory.mb и mapreduce.reduce.memory.mb –
Спасибо за быстрый комментарий. Еще несколько вещей, на мой взгляд: что будет, если это не работа по сокращению карты, такая как распределенная оболочка или искра и т. Д. Также я вижу, что память всегда была постоянной из-за выполнения задания, что заставляет меня почувствуйте, действительно ли это реальное время. –
- 1. Ошибка памяти контейнера: Hadoop
- 2. YARN Ошибка JobHistory: Ошибка перенаправления для контейнера
- 3. Как получить контейнер YARN ContainerId из контейнера?
- 4. Мониторинг java 8 процессов для фактического использования памяти
- 5. Что использовать графическое представление памяти Spark (с YARN)?
- 6. Параметр YARN для сброса кучи до уничтожения контейнера
- 7. Получения фактического размера структуры
- 8. Проблемы с ограничениями памяти для YARN
- 9. GCE - нет метрики stackdriver памяти для узлов
- 10. Использование памяти Spark/Yarn Python
- 11. Код распределения контейнера в YARN (Hadoop)
- 12. Значение метрики памяти служб Azure
- 13. команды Windows, для использования памяти% для конкретной службы
- 14. Метрики памяти Linux: включает ли PSS USS?
- 15. Получения фактического типа опции [Любые]
- 16. Проблемы с производительностью для искры на YARN
- 17. Как сбой контейнера обрабатывается для задания YARN MapReduce?
- 18. Параметры памяти для команды Spark-submit
- 19. Docker резервирует определенный объем памяти для контейнера
- 20. размер докер-контейнера значительно больше фактического размера
- 21. Получение фактического размера представления внутри контейнера
- 22. Как получить данные метрики использования для службы веб-приложений?
- 23. псевдоним, используемый для изменения фактического содержимого контейнера STL
- 24. Умный обзор памяти использования контейнера C++ при уничтожении
- 25. Получение использования узла% в YARN (Hadoop 2.6.0)
- 26. Загрузка файла HTTP без фактического использования файла
- 27. Выполнить команды для создания нового контейнера Docker
- 28. Сколько памяти и vcore выделено на hadoop YARN?
- 29. Почему YARN занимает много памяти для простой операции подсчета?
- 30. SPARK: YARN убивает контейнеры для превышения пределов памяти
Вы имеете в виду через YARN CLI (интерфейс командной строки)? Вы хотите получить доступ к этой информации через YARN CLI, верно? –
В первую очередь Да и если любые другие альтернативы, которые обеспечивает пряжа, также хороши. –