У меня был кластер с hadoop 2.6.3 и установлена искра 1.6.пряжа исполнитель запускает неправильную версию искры
В последнее время я обновил искру до 2,0, и все работает нормально, пока я не попытался запустить какую-то старую работу с искровой версией 1.6, которая имела некоторые совместимые проблемы с искровым 2.0.
Первое, что я попытался было следующее:
echo $SPARK_HOME
/usr/local/spark-1.6.1-bin-hadoop2.6
/usr/local/spark-1.6.1-bin-hadoop2.6/bin/spark-submit --master yarn--deploy-mode client /usr/local/spark-1.6.1-bin-hadoop2.6/examples/src/main/python/pi.py 100
Однако выше работа не удалось, и когда я проверил журналы пряжи я нашел следующее:
YARN executor launch context:
env:
CLASSPATH -> {{PWD}}<CPS>{{PWD}}/__spark__.jar<CPS>$HADOOP_CONF_DIR<CPS>$HADOOP_COMMON_HOME/share/hadoop/common/*<CPS>$HADOOP_COMMON_HOME/share/hadoop/common/lib/*<CPS>$HADOOP_HDFS_HOME/share/hadoop/hdfs/*<CPS>$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*<CPS>$HADOOP_YARN_HOME/share/hadoop/yarn/*<CPS>$HADOOP_YARN_HOME/share/hadoop/yarn/lib/*<CPS>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*<CPS>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*
SPARK_LOG_URL_STDERR -> http://datanode01-bi-dev:8042/node/containerlogs/container_1476081972773_0194_01_000003/hadoop/stderr?start=-4096
SPARK_YARN_STAGING_DIR -> .sparkStaging/application_1476081972773_0194
SPARK_YARN_CACHE_FILES_FILE_SIZES -> 187698038,357051,44846
SPARK_USER -> hadoop
SPARK_YARN_CACHE_FILES_VISIBILITIES -> PRIVATE,PRIVATE,PRIVATE
SPARK_YARN_MODE -> true
SPARK_YARN_CACHE_FILES_TIME_STAMPS -> 1477040367079,1477040367425,1477040367454
SPARK_HOME -> /usr/local/spark-2.0.0-bin-hadoop2.6
PYTHONPATH -> /usr/local/spark-1.6.1-bin-hadoop2.6/python/lib/py4j-0.9-src.zip:<CPS>{{PWD}}/pyspark.zip<CPS>{{PWD}}/py4j-0.9-src.zip
SPARK_LOG_URL_STDOUT -> http://datanode01-bi-dev:8042/node/containerlogs/container_1476081972773_0194_01_000003/hadoop/stdout?start=-4096
SPARK_YARN_CACHE_FILES -> hdfs://10.104.90.40:8020/user/hadoop/.sparkStaging/application_1476081972773_0194/spark-assembly-1.6.1-hadoop2.6.0.jar#__spark__.jar,hdfs://10.104.90.40:8020/user/hadoop/.sparkStaging/application_1476081972773_0194/pyspark.zip#pyspark.zip,hdfs://10.104.90.40:8020/user/hadoop/.sparkStaging/application_1476081972773_0194/py4j-0.9-src.zip#py4j-0.9-src.zip
command:
{{JAVA_HOME}}/bin/java -server -XX:OnOutOfMemoryError='kill %p' -Xms1024m -Xmx1024m -Djava.io.tmpdir={{PWD}}/tmp '-Dspark.driver.port=26087' '-Dspark.ui.port=0' -Dspark.yarn.app.container.log.dir=<LOG_DIR> -XX:MaxPermSize=256m org.apache.spark.executor.CoarseGrainedExecutorBackend --driver-url spark://[email protected]:26087 --executor-id 2 --hostname datanode01-bi-dev --cores 1 --app-id application_1476081972773_0194 --user-class-path file:$PWD/__app__.jar 1> <LOG_DIR>/stdout 2> <LOG_DIR>/stderr
.......
.......
Traceback (most recent call last):
File "pi.py", line 39, in <module>
count = sc.parallelize(range(1, n + 1), partitions).map(f).reduce(add)
File "/usr/local/spark-2.0.0-bin-hadoop2.6/python/lib/pyspark.zip/pyspark/rdd.py", line 802, in reduce
File "/usr/local/spark-2.0.0-bin-hadoop2.6/python/lib/pyspark.zip/pyspark/rdd.py", line 776, in collect
File "/usr/local/spark-2.0.0-bin-hadoop2.6/python/lib/pyspark.zip/pyspark/rdd.py", line 2403, in _jrdd
File "/usr/local/spark-2.0.0-bin-hadoop2.6/python/lib/pyspark.zip/pyspark/rdd.py", line 2338, in _wrap_function
TypeError: 'JavaPackage' object is not callable
Очевидно, что пряжа lanuched используя Spark 2.0 и вызывая проблему, которая не работает.
Я проверил каждый угол, о котором я мог думать, связанный с настройкой искровой среды, и нигде не могу найти искру 2.0.
В ~/.bashrc, у меня есть:
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH
export SPARK_HOME=/usr/local/spark-2.0.0-bin-hadoop2.6
Команда folloing дал пустой результат:
grep -rnw /usr/local/spark-1.6.1-bin-hadoop2.6 -e spark-2.0.0-bin-hadoop2.6
grep -rnw /usr/local/hadoop-2.6.3 -e spark-2.0.0-bin-hadoop2.6
Я попытался вышеприведенный сценарий как на NameNode и DataNode только, чтобы получить тот же результат ,
Однако пример java Pi может успешно работать.
spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi /usr/local/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar 100
Может ли кто-нибудь рассказать, почему пряжа загружает неправильную версию искры?
Update:
Проблема на самом деле результат моей PATH быть перепутана. Итак, после того, как я очистил путь и установил искру 2.0, это версия по умолчанию для версии spark. Сейчас все работает отлично.
Что вы подразумеваете под «нигде не могу найти искру 2.0»? Он находится в вашем bashrc ... – Derlin
Я имею в виду то, что я прям-site.xml, core-site.xml и файл spark-env.sh. Не может быть найдена установка, связанная с искрой 2.0. –
http://stackoverflow.com/questions/29691028/can-i-have-multiple-spark-versions-installed-in-cdh. Моя проблема заключается в том, что установка искровой среды на узлах узлов ./bashrc отсутствует. –