AttributeError: SQLContext экземпляр не имеет атрибута «createDataFrame»

Question

Я новичок в Apache Spark пытаются работать на большом запросе, когда когда-либо я пытаюсь запустить код я поделился ниже он дает мне ошибку

File "/****/***/spark-1.1.0/examples/src/main/python/testSql.py", line 25, in schemaEvents = sqlContext.createDataFrame(events) AttributeError: SQLContext instance has no attribute 'createDataFrame'

Я следую следующим ссылкам для практики. https://spark.apache.org/docs/latest/sql-programming-guide.html#dataframes

, код общий ниже.

from pyspark.sql import * 


from pyspark import * 
#File = "/home/shafee/spark-1.1.0/results-20160315-075804.csv" # Should be some file on your system 
File = "" # Should be some file on your system 
sc = SparkContext() 
sqlContext = SQLContext(sc) 
Line = sc.textFile("results-20160315-075804.csv") 
parts = Line.map(lambda l: l.split(",")) 
events = parts.map(lambda p: Row(Actor1Name=p[6], SourceUrl=int(p[56]))) 

schemaEvents = sqlContext.createDataFrame(events) 

schemaPeople.registerTempTable("events") 
df = sqlContext.sql("SELECT * FROM ").collect() 
worldcount = df.count() 
print("Totel words counts in csv file: %i" % (worldcount)) 

Answer 1

Вы используете Спарк 1.1 и SQLContext.createDataFrame была введена в Спарк 1.3. Вы должны обновить версию Spark, если вы хотите использовать ее, следуя текущему руководству по программированию.