2016-04-21 3 views
2

в соответствии с reading csv in zeppelin Я должен использовать %dep для загрузки csv jar, но я получаю error: not found: value % Кто-нибудь знает, чего я не хватает?zeppelin notebook "ошибка: не найден: значение%"

%spark 

val a = 1 

%dep 
z.reset() 
z.addRepo("Spark Packages Repo").url("http://dl.bintray.com/spark-packages/maven") 
z.load("com.databricks:spark-csv_2.10:1.2.0") 

a: Int = 1 
<console>:28: error: not found: value % 
       %dep 
      ^

в zeppelin журналы я вижу:

INFO [2016-04-21 11:44:19,300] ({pool-2-thread-11} SchedulerFactory.java[jobFinished]:137) - Job remoteInterpretJob_1461228259278 finished by scheduler org.apache.zeppelin.spark.SparkInterpreter1173192611 
INFO [2016-04-21 11:44:19,678] ({pool-2-thread-4} SchedulerFactory.java[jobStarted]:131) - Job remoteInterpretJob_1461228259678 started by scheduler org.apache.zeppelin.spark.SparkInterpreter1173192611 
INFO [2016-04-21 11:44:19,704] ({pool-2-thread-4} SchedulerFactory.java[jobFinished]:137) - Job remoteInterpretJob_1461228259678 finished by scheduler org.apache.zeppelin.spark.SparkInterpreter1173192611 
INFO [2016-04-21 11:44:36,968] ({pool-2-thread-12} SchedulerFactory.java[jobStarted]:131) - Job remoteInterpretJob_1461228276968 started by scheduler 1367682354 
INFO [2016-04-21 11:44:36,969] ({pool-2-thread-12} RReplInterpreter.scala[liftedTree1$1]:41) - intrpreting %dep 
z.reset() 
z.addRepo("Spark Packages Repo").url("http://dl.bintray.com/spark-packages/maven") 
z.load("com.databricks:spark-csv_2.10:1.2.0") 
ERROR [2016-04-21 11:44:36,975] ({pool-2-thread-12} RClient.scala[eval]:79) - R Error .zreplout <- rzeppelin:::.z.valuate(.zreplin) <text>:1:1: unexpected input 
1: %dep 
    ^
INFO [2016-04-21 11:44:36,978] ({pool-2-thread-12} SchedulerFactory.java[jobFinished]:137) - Job remoteInterpretJob_1461228276968 finished by scheduler 1367682354 
INFO [2016-04-21 11:45:22,157] ({pool-2-thread-8} SchedulerFactory.java[jobStarted]:131) - Job remoteInterpretJob_1461228322157 started by scheduler org.apache.zeppelin.spark.SparkInterpreter1173192611 
+1

Эта ошибка обычно срабатывает, если вы не используете отдельные ячейки на каждого интерпретатора. – eliasah

+0

Согласно документам, интерпретатор '% dep' должен использоваться до'% spark', '% pyspark','% sql'. –

ответ

3

Каждая ячейка может содержать один тип переводчика. Таким образом, для использования %dep и %spark вы должны разделить их на две ячейки, начиная с %dep после перезапуска искрового интерпретатора, чтобы его можно было принять во внимание. например:

В первой ячейке:

%dep 
z.reset() 
z.addRepo("Spark Packages Repo").url("http://dl.bintray.com/spark-packages/maven") 
z.load("com.databricks:spark-csv_2.10:1.2.0") 

Теперь, когда ваша зависимость загружена, вы можете получить доступ к искровому переводчику в другой ячейке:

%spark 
val a = 1 

PS: По умолчанию, ячейка работает с искровым интерпретатором, поэтому вам не нужно явно использовать %spark.

+0

это не сработает, если интерпретатор% livy.spark? – Maziyar