Что такое точка входа контейнера Spark в режиме кластера YARN?

Question

Какова основная точка входа исполнителя Spark, когда работа Spark выполняется в режиме кластеров пряжи (для Spark 1.2.0+)?

То, что я ищу, - это имя класса Scala для точки входа Исполнителя (который будет процессом, выполняющим одну из задач на подчиненном компьютере).

Answer 1

Я думаю, что вы спрашиваете о том, org.apache.spark.executor.Executor или, возможно, org.apache.spark.executor.Executor$TaskRunner. Это TaskRunner, что в конечном итоге будет run a task.

Это независимо от режима развертывания (client vs cluster) или используется менеджер кластера, то есть Hadoop YARN или Spark Standalone или Apache Mesos.

Answer 2

spark-submit --class [FULLY QUALIFIED CLASS NAME] 
      --master yarn-cluster 
      [JAR_TO_USE] 

Таким образом, с учетом приведенным выше, класс должны быть использован, один указан, который загружается из данной банки, и он ищет в пределах этого класса для метода static main.

От SparkSubmit.scala:

val mainMethod = mainClass.getMethod("main", new Array[String](0).getClass)