Я создал одно задание cron (задание cron запускается каждую минуту) и сценарий оболочки для публикации использования HDFS для Cloudwatch с помощью this answer in AWS forum.AWS cloudwatch пользовательские показатели данные не отображаются
Мой сценарий выглядит следующим образом:
#!/bin/sh
#
# Prerequisites :
# 1. AWS cloudwatch CLI
# 2. JAVA
# 3. AWS credentials file inside AWS cloudwatch CLI directory
#
export JAVA_HOME=$1
export AWS_CLOUDWATCH_HOME=$2
export AWS_CREDENTIAL_FILE=$AWS_CLOUDWATCH_HOME/credential-file-path.template
export PATH="$PATH:$AWS_CLOUDWATCH_HOME/bin"
echo '['`date`'] INFO : all paths set.'
CLUSTER_NAME=$3
UNIT="Percent"
#1. Get hdfs report
#2. Grep for all lines containing dfs used data
#3. Grep for percentage data
dfs_used_percent=`hadoop dfsadmin -report | grep -m 1 'DFS Used\%' | grep -oE '[[:digit:]]+\.?[[:digit:]]*'`
echo '['`date`'] INFO : Current hdfs usage percent : ' $dfs_used_percent
echo '['`date`'] INFO : Sending data to AWS cloudwatch.'
mon-put-data --metric-name "HdfsUsed" --namespace "MyCustomMetrics" --value $dfs_used_percent --unit $UNIT
echo '['`date`'] INFO : Result of mon-put-data command : ' $?
echo '['`date`'] INFO : Data sent to AWS cloudwatch. Exiting.'
echo '----------------------------------------------------'
Я могу видеть, что этот сценарий успешно отправки пользовательских метрики облако часы, глядя на следующие журналы (эхо заявления)
$ tail -f hdfs-usage-metric.log
[Wed Oct 29 05:23:03 UTC 2014] INFO : Result of mon-put-data command : 0
[Wed Oct 29 05:23:03 UTC 2014] INFO : Data sent to AWS cloudwatch. Exiting.
----------------------------------------------------
[Wed Oct 29 05:24:01 UTC 2014] INFO : all paths set.
[Wed Oct 29 05:24:03 UTC 2014] INFO : Current hdfs usage percent : 14.36
[Wed Oct 29 05:24:03 UTC 2014] INFO : Sending data to AWS cloudwatch.
[Wed Oct 29 05:24:04 UTC 2014] INFO : Result of mon-put-data command : 0
[Wed Oct 29 05:24:04 UTC 2014] INFO : Data sent to AWS cloudwatch. Exiting.
----------------------------------------------------
[Wed Oct 29 05:25:01 UTC 2014] INFO : all paths set.
[Wed Oct 29 05:25:02 UTC 2014] INFO : Current hdfs usage percent : 14.36
[Wed Oct 29 05:25:02 UTC 2014] INFO : Sending data to AWS cloudwatch.
[Wed Oct 29 05:25:03 UTC 2014] INFO : Result of mon-put-data command : 0
[Wed Oct 29 05:25:03 UTC 2014] INFO : Data sent to AWS cloudwatch. Exiting.
----------------------------------------------------
[Wed Oct 29 05:26:01 UTC 2014] INFO : all paths set.
[Wed Oct 29 05:26:02 UTC 2014] INFO : Current hdfs usage percent : 14.36
[Wed Oct 29 05:26:02 UTC 2014] INFO : Sending data to AWS cloudwatch.
[Wed Oct 29 05:26:03 UTC 2014] INFO : Result of mon-put-data command : 0
[Wed Oct 29 05:26:03 UTC 2014] INFO : Data sent to AWS cloudwatch. Exiting.
Но это метрические не отображается в консоли AWS даже после запуска этого скрипта более 2 часов.
Я не вижу эту метрику, используя команду $ mon-list-metrics | grep 'Hdfs'
.
Если я бегу mon-get-stats
команду на той же машине, где хрон работает, я получаю следующий вывод
$ mon-get-stats HdfsUsed --namespace AutodeskCustomMetrics --statistics Average
2014-10-29 04:35:00 14.36 Percent
2014-10-29 04:40:00 14.36 Percent
2014-10-29 04:45:00 14.36 Percent
2014-10-29 04:50:00 14.36 Percent
2014-10-29 04:55:00 14.36 Percent
2014-10-29 05:00:00 14.36 Percent
, но если я запускаю же команду от другой машины, присутствующей в одном кластере я не получаю никакого результата.
Может ли кто-нибудь помочь мне правильно вставить и получить пользовательские показатели?