TypeError преобразование фрейма данных Pandas в Spark Dataframe в Pyspark

Question

Сделал мое исследование, но ничего не нашел на этом. Я хочу, чтобы преобразовать простой pandas.DataFrame к свече dataframe, как это:

df = pd.DataFrame({'col1': ['a', 'b', 'c'], 'col2': [1, 2, 3]}) 
sc_sql.createDataFrame(df, schema=df.columns.tolist()) 

ошибка, я получаю:

TypeError: Can not infer schema for type: <class 'str'> 

Я пытался что-то еще проще:

df = pd.DataFrame([1, 2, 3]) 
sc_sql.createDataFrame(df) 

и я получение:

TypeError: Can not infer schema for type: <class 'numpy.int64'> 

Любая помощь? Нужно ли вручную указывать схему или так?

sc_sqlpyspark.sql.SQLContext, я нахожусь в блокноте jupyter на python 3.4 и spark 1.6.

Спасибо!

Answer 1

Это связано с вашей искровой версией, последнее обновление искры делает вывод типа более интеллектуальным. Вы могли бы исправить это, добавив схему следующим образом:

mySchema = StructType([ StructField("col1", StringType(), True), StructField("col2", IntegerType(), True)]) 
sc_sql.createDataFrame(df,schema=mySchema)