Spark DataFrame эквивалентен Pandas Dataframe `.iloc()` метод?

Question

Есть ли способ ссылаться на столбцы Spark DataFrame по положению с использованием целого числа? операция

Аналог Панды DataFrame:

df.iloc[:0] # Give me all the rows at column position 0 

Answer 1

Не очень, но вы можете попробовать что-то вроде этого:

Python:

df = sc.parallelize([(1, "foo", 2.0)]).toDF() 
df.select(*df.columns[:1]) # I assume [:1] is what you really want 
## DataFrame[_1: bigint] 

или

df.select(df.columns[1:3]) 
## DataFrame[_2: string, _3: double] 

Scala

val df = sc.parallelize(Seq((1, "foo", 2.0))).toDF() 
df.select(df.columns.slice(0, 1).map(col(_)): _*) 

Примечание:

Спарк SQL не поддерживает, и вряд ли когда-либо поддерживает индексирование строки, так что не представляется возможным индексировать через измерение строк.