NoSuchMethodError во время работы искрообразование

Question

Exception in thread "main" java.lang.NoSuchMethodError:                       
    com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer$.handledType()Ljava/lang/Class; 

Я создаю простое искрообразование с использованием twitter в качестве источника. Но застрял в этой ошибке. Я использую искру 1.6.0 и scala 2.10.4.

Answer 1

Это исключение обычно указывает на то, что у вас есть несколько версий библиотеки, доступных во время выполнения, и выбранная вами не является той, на которую вы полагаетесь. Возможно, две библиотеки собраны в uber jar.

Чтобы избежать этого, вы можете иметь приоритет для своих версий JAR, указав их явно через spark.executor.extraClassPath и spark.driver.extraClassPath. Подробнее можно прочитать в Spark Configuration