scala версия несоответствие в искры 2.1.0

Question

Когда я использую искру 1.6.1, все в порядке. Когда я переключаюсь на Spark 2.1.0, я сталкиваюсь с проблемой ниже:

Задача 33 в стадии3.0 не выполнена 4 раза; прерывание работы

Исключение из потока "main" org.apache.spark.SparkException: Работа прерывается из-за срыва этапа: Задача 33 на этапе 3.0 завершилась неудачно 4 раза, последний сбой: Lost taks 33.3 на этапе 3.0 (TID 310, 192.168.1.5, исполнитель 3): java.io.invalidclassexception scala.tuple2; локальный класс несовместим; локальный класс несовместимые: поток classdesc serialVersionUID = -4864544146559264103, локальный класс serialVersionUID = 3356420310891166197

Я знаю -4864544146559264103 это соответствует 2,10 лестницу, а 3356420310891166197 это соответствует Скале 2.11. Хотя я изменил свою конфигурацию на

EDIT: весь файл pom показан ниже.

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 
    <modelVersion>4.0.0</modelVersion> 

    <groupId>test.spark</groupId> 
    <artifactId>spark</artifactId> 
    <version>1.0-SNAPSHOT</version> 
    <packaging>jar</packaging> 

    <name>spark</name> 
    <url>http://maven.apache.org</url> 

    <properties> 
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> 
    </properties> 

    <build> 
    <plugins> 
     <plugin> 
     <!-- solve the problem of : java.lang.ClassNotFoundException: kafka.producer.ProducerConfig --> 
     <artifactId>maven-assembly-plugin</artifactId> 
     <version>2.4</version> 
     <configuration> 
      <descriptorRefs> 
      <descriptorRef>jar-with-dependencies</descriptorRef> 
      </descriptorRefs> 
     </configuration> 
     <executions> 
      <execution> 
      <id>make-assembly</id> 
      <phase>package</phase> 
      <goals> 
       <goal>single</goal> 
      </goals> 
      </execution> 
     </executions> 
     </plugin> 
     <plugin> 
     <groupId>org.apache.maven.plugins</groupId> 
     <artifactId>maven-compiler-plugin</artifactId> 
     <version>3.6.1</version> 
     <configuration> 
      <source>1.8</source> 
      <target>1.8</target> 
     </configuration> 
     </plugin> 
    </plugins> 
    </build> 

    <dependencies> 
    <dependency> 
     <groupId>junit</groupId> 
     <artifactId>junit</artifactId> 
     <version>3.8.1</version> 
     <scope>test</scope> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-streaming_2.11</artifactId> 
     <version>2.1.0</version> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-core_2.11</artifactId> 
     <version>2.1.0</version> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-mllib_2.11</artifactId> 
     <version>2.1.0</version> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-streaming-kafka-0-8_2.11</artifactId> 
     <version>2.1.0</version> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.hbase</groupId> 
     <artifactId>hbase-server</artifactId> 
     <version>1.1.2</version> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.hbase</groupId> 
     <artifactId>hbase-client</artifactId> 
     <version>1.1.2</version> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.hbase</groupId> 
     <artifactId>hbase-common</artifactId> 
     <version>1.1.2</version> 
    </dependency> 
    <dependency> 
     <groupId>io.fastjson</groupId> 
     <artifactId>boon</artifactId> 
     <version>0.33</version> 
    </dependency> 
    <dependency> 
     <groupId>com.google.code.gson</groupId> 
     <artifactId>gson</artifactId> 
     <version>2.7</version> 
    </dependency> 
    <dependency> 
     <groupId>com.googlecode.json-simple</groupId> 
     <artifactId>json-simple</artifactId> 
     <version>1.1.1</version> 
    </dependency> 
    </dependencies> 
</project> 

проблема по-прежнему существует. Как решить эту проблему? Будут добавлены все необходимые детали. Спасибо за любую помощь!

Answer 1

И наконец, я исправил эту проблему. Это моя ошибка, файл pom в порядке, и проект работает хорошо.

Проблема возникает из одной детали, код читает файл scala.Tuple2 из HDFS, о котором не упоминается в моем вопросе (извините, что сказал). Объекты в HDFS генерируются с помощью scala 2.10 другим проектом, поэтому проблема возникает.

В любом случае, спасибо за помощь.