Планировщик мощностей позволяет распределять кластер Hadoop по организационным линиям, при этом каждой организации выделяется определенная емкость общего кластера. Я хочу знать, что если придут большие данные, тогда пропускная способность, выделенная для определенной очереди, будет автоматически изменена?Планировщик мощности
в емкости планировщик конфигурации мы определяем yarn.scheduler.capacity.root.<queue name>.capacity и yarn.scheduler.capacity.root.<queue name>.maximum-capacity
yarn.scheduler.capacity.root.<queue name>.capacity является способностью очереди, а yarn.scheduler.capacity.root.<queue name>.maximum-capacity является максимальными ресурсы всех заданий/пользователей в этой очереди могут принимать
если большие данные поступают, то емкость выделяется к тому, что в определенную очередь будет изменяться автоматически.
Нет, размер очереди фиксирован и не изменяется автоматически в соответствии с объемом входных данных. вы можете вручную изменить его в capacity-scheduler.xml, а затем обновить очереди на yarn rmadmin -refreshQueues
вы можете написать скрипт, который будет обновлять (и обновления) емкость очередей в зависимости от объема входных данных, но я не думаю, что это рекомендуется.