Знает ли главный узел EMR свой идентификатор кластера?

Question

Я хочу иметь возможность создавать кластеры EMR и для этих кластеров отправлять сообщения обратно в некоторую центральную очередь. Для того, чтобы это работало, мне нужно, чтобы какой-то агент работал на каждом ведущем узле. Каждому из этих агентов придется идентифицировать себя в этом сообщении, чтобы получатель знал, в каком кластере это сообщение.

знает главный узел это идентификатор (j- * ** * *)? Если нет, то есть ли другая часть идентифицирующей информации, которая могла бы позволить получателю сообщения вывести этот идентификатор?

Я просмотрел конфигурационные файлы в/home/hadoop/conf, и я не нашел ничего полезного. Я нашел id в /mnt/var/log/instance-controller/instance-controller.log, но похоже, что будет сложно выполнить grep. Мне интересно, где экземпляр-контроллер может получить этот идентификатор в первую очередь.

Answer 1

Вы можете посмотреть /mnt/var/lib/info/ на главном узле, чтобы найти много информации о настройке кластера EMR. Более конкретно, /mnt/var/lib/info/job-flow.json содержит jobFlowId или ClusterID.

Вы можете использовать предварительно установленный json-парсер (jq), чтобы получить идентификатор задания.

cat /mnt/var/lib/info/job-flow.json | jq -r ".jobFlowId" 

(обновляется в соответствии с @Marboni)

Answer 2

Очевидно, что работа Hadoop MapReduce не имеет возможности узнать, в каком кластере она работает - я был удивлен, узнав об этом сам.

НО: вы можете использовать другие идентификаторы для каждой карты, чтобы однозначно идентифицировать выполняемый обработчик и выполняемое задание.

Они указаны в переменных среды, передаваемых каждому преобразователю. Если вы пишете работу в Hadoop потоковой передачи, используя Python, код будет:

import os 

if 'map_input_file' in os.environ: 
    fileName = os.environ['map_input_file'] 
if 'mapred_tip_id' in os.environ: 
    mapper_id = os.environ['mapred_tip_id'].split("_")[-1] 
if 'mapred_job_id' in os.environ: 
    jobID = os.environ['mapred_job_id'] 

Это дает вам: входное имя файла, идентификатор задачи, и идентификатор задания. Используя одну или комбинацию этих трех значений, вы должны иметь возможность однозначно идентифицировать, какой картограф работает.

Если вы ищете конкретную работу: «mapred_job_id» может быть тем, что вы хотите.

Answer 3

Вы можете использовать API Amazon EC2 для определения. В приведенном ниже примере для упрощения используются команды оболочки. В реальной жизни вы должны использовать соответствующий API для выполнения этих действий.

Сначала вы должны найти свой идентификатор экземпляра:

INSTANCE=`wget -q -O - http://169.254.169.254/latest/meta-data/instance-id` 

Затем вы можете использовать свой идентификатор экземпляр, чтобы узнать идентификатор кластера:

ec2-describe-instances $INSTANCE | grep TAG | grep aws:elasticmapreduce:job-flow-id 

Надеется, что это помогает.

Answer 4

Как было выше предписанных в технических заданиях, информация находится в файле задания-flow.json. Этот файл имеет several other attributes.Так, зная, где он находится, вы можете сделать это в очень простой способ:

cat /mnt/var/lib/info/job-flow.json | grep jobFlowId | cut -f2 -d: | cut -f2 -d'"' 

Edit: Эта команда работает в основных узлах также.

Answer 5

Другой вариант - запрос на сервер метаданных:

curl -s http://169.254.169.254/2016-09-02/user-data/ | sed -r 's/.*clusterId":"(j-[A-Z0-9]+)",.*/\1/g'