Как настроить виртуальный шаг python для hadoop в ami 4.x

Question

В ami 3 существует файл /home/hadoop/conf/hadoop-user-env.sh. И этот старый код, на который я смотрю, смог запустить эту команду при начальной загрузке.

echo ". /home/hadoop/resources/pips/bin/activate" >> /home/hadoop/conf/hadoop-user-env.sh 

Это активирует виртуальный env для Python.

В ami 4 этот файл исчез. Как я могу предположить, что шаг hythop для python запускается в виртуальном env под ami 4?

Answer 1

Собирает мяч, чтобы дать ему шанс.

В версиях Amazon EMR AMI версии 2.x и 3.x был сценарий hadoop-user-env.sh, который не был частью стандартного Hadoop и использовался вместе с действием bootstrap configure-daemons для настройки Hadoop Окружающая среда. Сценарий включал в себя следующие действия:

#!/bin/bash 
export HADOOP_USER_CLASSPATH_FIRST=true; 
echo "HADOOP_CLASSPATH=/path/to/my.jar" >> /home/hadoop/conf/hadoop-user-env.sh 

В версии 4.x Amazon EMR, вы можете сделать то же самое сейчас с конфигурациями Hadoop-ENV:

[ 
    { 
    "Classification":"hadoop-env", 
    "Properties":{ 

    }, 
    "Configurations":[ 
     { 
      "Classification":"export", 
      "Properties":{ 
       "HADOOP_USER_CLASSPATH_FIRST":"true", 
       "HADOOP_CLASSPATH":"/path/to/my.jar" 
      } 
     } 
    ] 
    } 
] 

Существует более подробную информацию о различиях и коды замены на Amazon's Documentation Site.