статус пряжи от клиента dataproc - почему он всегда является объектом списка?

Question

Мы искровые задания выполняются на dataproc кластере с пряжей - у нас также есть программа-оболочка в питона, которая делает постоянный опрос для статуса задания, и мы проводим мониторинг состояния рабочих мест из пряжи - как показано в следующем:

dataproc = discovery.build('dataproc', 'v1', credentials=credentials) 
job_id = '8873a82c-6201-48d4-8ad3-d8f236ef9c49' 
projectId='dev-111111' 
REGION = 'global' 

result = dataproc.projects().regions().jobs().get(projectId=projectId,region=REGION,jobId=job_id).execute() 

print result['yarnApplications'][0]['state'] 

Как предложил документ Google dataproc в here

«результат» выше, представляет собой объект JSON и внутри объекта JSON есть поле, называемое «yarnApplications», который является объектом список которых первый и единственный элемент содержит состояние задания, нас интересует.

Вопрос i s - почему этот объект «yarnApplications» всегда является объектом списка, даже если у нас есть только одна работа с пряжей? Мы видели ситуации, когда пряжа предпринимает несколько попыток запуска задания - будет ли поле «yarnApplications» содержать несколько элементов в этой ситуации?

Кроме того, гарантировано ли, что - если у нас есть только одна работа, работающая на пряжу, объект списка "yarnApplications" будет содержать только один элемент?

Мы понимаем, что это только бета-версия для клиента dataproc, но поскольку у нас есть производственная система, работающая на нем, так что я бы оценил любые предложения и предложения.

Благодаря

Answer 1

согласно Dataproc API job definition, работа содержит «коллекцию» из YarnApplications, и в целом это определение не может изменить его тип на основе содержимого во время выполнения. Например, интерфейс Java для Job.getYarnApplications()returns a java.util.List, независимо от того, имеет ли только список один элемент или ноль или многие.

Это определение API предназначено для размещения различных типов заданий, которые могут подавать несколько приложений YARN на каждое задание, например, Hive или Pig. В некоторых случаях jarfiles Hadoop также отправляют несколько заданий, например, если программа драйвера является программой Apache Crunch или вы запускаете Gridmix.

Вам действительно гарантировано, что если у вас есть только одно задание, выполняемое в YARN, то объект списка будет содержать только один элемент; приложения YARN в списке - это только те, которые созданы данным вызовом Job. Даже если вы запускаете несколько заданий Dataproc одновременно, каждый из которых отправляет разные одновременные приложения YARN, каждое задание будет содержать только определенное приложение (я) YARN, которое было представлено самим.