Пряжа выделяет слишком много vcores на узле

Question

Я установил максимальные значения vcores распределения в 1 в файле yarn-site.xml и количество физических ядер до 2. Все узлы одинаковы. Однако sometims, YARN выделяет 3 контейнера для узла. Он сообщает, что на этом узле доступны -1 vcores. Что заканчивается, так это то, что nodemanager отключается на этом узле, и работа завершается неудачно. Как вы предотвращаете YARN из-за выделения vcores? Доступны и другие доступные узлы, в которых используется 0 vcores. Я уже указал минимальное и максимальное количество вложений, которые могут быть выделены, и количество физических вложений на узел. Когда я смотрю отчеты YARN, все выглядит правильно.

Answer 1

Этот answer - это то, что вы ищете. К сожалению, похоже, что поведение YARN по умолчанию заключается в том, чтобы рассматривать память только при выполнении этих распределений. К счастью, это можно изменить, см. Связанный ответ.

Я чувствую себя обманутым всей документацией по YARN, поскольку ничего, что я нашел, не упоминает, что это изменение требуется, но есть много блогов/сообщений о том, как установить значение vcore.