2016-08-05 1 views
1

У меня есть ошибка времени компиляции, пытающаяся написать SnappySQLJob. Я пропущу зависимость?org.apache.spark.sql.catalyst.TableIdentifier не может быть устранена ошибка в SnappySQLJob

Сообщение об ошибке:

Тип org.apache.spark.sql.catalyst.TableIdentifier не может быть решена. Это косвенно ссылается из требуемых .class файлов

@Override 
    public Object runJob(Object sparkContext, Config jobConfig) { 
     SnappyContext snappyContext = (SnappyContext)sparkContext; 

     String fileResource = "data.csv"; 

     DataFrame dataFrame = snappyContext.read() 
       .format("com.databricks.spark.csv") 
       .option("header", "true") 
       .option("inferSchema", "true") 
       .load(fileResource); 

     // Compile-Time error is on this line 
     dataFrame.write().insertInto("example_table_col"); 


     return null; 
    } 

Вот мои зависимости pom.xml:

<dependency> 
     <groupId>io.snappydata</groupId> 
     <artifactId>snappy-core_2.10</artifactId> 
     <version>0.2.1-PREVIEW</version> 
    </dependency> 
    <dependency> 
     <groupId>io.snappydata</groupId> 
     <artifactId>snappy-tools_2.10</artifactId> 
     <version>0.2.1-PREVIEW</version> 
     <exclusions> 
      <exclusion> 
       <artifactId>jdk.tools</artifactId> 
       <groupId>jdk.tools</groupId> 
      </exclusion> 
      <exclusion> 
       <artifactId>logback-classic</artifactId> 
       <groupId>ch.qos.logback</groupId> 
      </exclusion> 
     </exclusions> 
    </dependency> 

ответ

1

Этот старый релиз, кажется, отсутствует spark-catalyst зависимость. Я предложу обновление до версии 0.5 релиза вместо (snappy-tools теперь называется snappy-cluster) и snappydata кластер также должен быть повышен до 0,5

Для выпуска 0.2.1, ниже, должны исправить эту проблему:

<dependency> 
    <groupId>io.snappydata</groupId> 
    <artifactId>snappy-spark-catalyst_2.10</artifactId> 
    <version>1.6.0-BETA</version> 
</dependency> 
<dependency> 
    <groupId>io.snappydata</groupId> 
    <artifactId>snappy-spark-sql_2.10</artifactId> 
    <version>1.6.0-BETA</version> 
</dependency> 
Смежные вопросы