Я новичок в aws emr и хочу добавить нового пользователя и создать какой-нибудь каталог в hadoop.Как добавить ec2-пользователя в hadoop в aws emr
так что я делаю для создания каталога.
Войти в Hadoop машине
ssh [email protected](publicIP)
hadoop fs -mkdir /user
hadoop fs -mkdir /user/tomcat/
hadoop fs -chmod 777/
hadoop fs -chmod 777 /tomcat
Я хочу, чтобы сделать этот процесс с помощью AWS-консоль или добавив этот подход к ОМУ-загрузчике.
Вы можете написать свои команды make-directory в сценарии оболочки и добавить этот сценарий в качестве шага. Вы можете сделать это при запуске кластера:
aws emr create-cluster --name "Test cluster" --ami-version 3.10 --applications Name=Hue Name=Hive Name=Pig \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type m3.xlarge --instance-count 3 \
--steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://mybucket/script-path/my_script.sh"]
или добавить это в качестве первого шага в потоке работы после запуска кластера:
aws emr add-steps --cluster-id <<$clusterId>> --steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://mybucket/script-path/my_script.sh"