Spark Python: стандартная ошибка масштабирования «Не поддерживайте ... SparseVector»

Question

Я снова ударил по стене блока. Я полный новичок, поэтому я снова должен опираться на ваши могущественные знания.

Я начинал с набором данных, глядя, как это:

,user_account_id,user_lifetime,user_no_outgoing_activity_in_days,user_account_balance_last,user_spendings,reloads_inactive_days,reloads_count,reloads_sum,calls_outgoing_count,calls_outgoing_spendings,calls_outgoing_duration,calls_outgoing_spendings_max,calls_outgoing_duration_max,calls_outgoing_inactive_days,calls_outgoing_to_onnet_count,calls_outgoing_to_onnet_spendings,calls_outgoing_to_onnet_duration,calls_outgoing_to_onnet_inactive_days,calls_outgoing_to_offnet_count,calls_outgoing_to_offnet_spendings,calls_outgoing_to_offnet_duration,calls_outgoing_to_offnet_inactive_days,calls_outgoing_to_abroad_count,calls_outgoing_to_abroad_spendings,calls_outgoing_to_abroad_duration,calls_outgoing_to_abroad_inactive_days,sms_outgoing_count,sms_outgoing_spendings,sms_outgoing_spendings_max,sms_outgoing_inactive_days,sms_outgoing_to_onnet_count,sms_outgoing_to_onnet_spendings,sms_outgoing_to_onnet_inactive_days,sms_outgoing_to_offnet_count,sms_outgoing_to_offnet_spendings,sms_outgoing_to_offnet_inactive_days,sms_outgoing_to_abroad_count,sms_outgoing_to_abroad_spendings,sms_outgoing_to_abroad_inactive_days,sms_incoming_count,sms_incoming_spendings,sms_incoming_from_abroad_count,sms_incoming_from_abroad_spendings,gprs_session_count,gprs_usage,gprs_spendings,gprs_inactive_days,last_100_reloads_count,last_100_reloads_sum,last_100_calls_outgoing_duration,last_100_calls_outgoing_to_onnet_duration,last_100_calls_outgoing_to_offnet_duration,last_100_calls_outgoing_to_abroad_duration,last_100_sms_outgoing_count,last_100_sms_outgoing_to_onnet_count,last_100_sms_outgoing_to_offnet_count,last_100_sms_outgoing_to_abroad_count,last_100_gprs_usage,user_intake,user_has_outgoing_calls,user_has_outgoing_sms,user_use_gprs,user_does_reload,n_months,month,churn 
0,1031,947.0,0.3333333333333333,10.993333333333334,10.3,12.0,1.3333333333333333,10.013333333333334,83.66666666666667,5.859999999999999,55.69,0.5966666666666667,10.333333333333334,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,23.333333333333332,2.8833333333333333,25.0,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,135.33333333333334,4.44,0.06,0.3333333333333333,16.333333333333332,0.98,0.3333333333333333,57.666666666666664,3.4599999999999995,0.3333333333333333,0.0,0.0,0.3333333333333333,14.0,0.0,0.0,0.0,0.0,0.0,0.0,1307.0,5.666666666666667,22.01666666666667,130.48,0.0,65.33333333333333,0.0,287.3333333333333,34.0,113.66666666666667,0.0,0.0,0,1,1,0,1,3,9,0 
1,4231,951.0,1.3333333333333333,27.546666666666667,6.45,22.0,1.0,12.013333333333334,46.333333333333336,6.45,47.150000000000006,1.3233333333333333,8.81,1.3333333333333333,0.0,0.0,0.0,1.3333333333333333,31.666666666666668,6.400000000000001,42.656666666666666,1.3333333333333333,0.0,0.0,0.0,1.3333333333333333,0.6666666666666666,0.0,0.0,57.0,0.0,0.0,57.0,0.0,0.0,57.0,0.0,0.0,57.0,10.666666666666666,0.0,0.0,0.0,0.0,0.0,0.0,1307.0,4.0,32.026666666666664,156.96666666666667,0.0,145.42999999999998,0.0,1.6666666666666667,0.0,0.3333333333333333,0.0,0.0,0,1,1,0,1,3,9,0 
2,5231,523.0,0.6666666666666666,14.62,1.0999999999999999,1307.0,0.0,0.0,14.333333333333334,1.0999999999999999,7.573333333333333,0.7266666666666666,4.84,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,8.333333333333334,0.3233333333333333,2.1566666666666667,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,0.0,0.0,0.0,1307.0,0.0,0.0,1307.0,0.0,0.0,1307.0,0.0,0.0,1307.0,8.333333333333334,0.0,0.0,0.0,0.0,0.0,0.0,1307.0,0.0,0.0,47.330000000000005,0.0,10.356666666666667,0.0,0.0,0.0,0.0,0.0,0.0,0,1,0,0,0,3,9,0 

И мой код выглядит как это:

ca1DF = (
sqlContext.read.load("merged.csv", format="com.databricks.spark.csv", header=True, inferSchema=True) 
.rdd.toDF(["user_account_id", "user_lifetime", "user_no_outgoing_activity_in_days", "user_account_balance_last", "user_spendings", "reloads_inactive_days", "reloads_count", "reloads_sum", "calls_outgoing_count", "calls_outgoing_spendings", "calls_outgoing_duration", "calls_outgoing_spendings_max", "calls_outgoing_duration_max", "calls_outgoing_inactive_days", "calls_outgoing_to_onnet_count", "calls_outgoing_to_onnet_spendings", "calls_outgoing_to_onnet_duration", "calls_outgoing_to_onnet_inactive_days", "calls_outgoing_to_offnet_count", "calls_outgoing_to_offnet_spendings", "calls_outgoing_to_offnet_duration", "calls_outgoing_to_offnet_inactive_days", "calls_outgoing_to_abroad_count", "calls_outgoing_to_abroad_spendings", "calls_outgoing_to_abroad_duration", "calls_outgoing_to_abroad_inactive_days", "sms_outgoing_count", "sms_outgoing_spendings", "sms_outgoing_spendings_max", "sms_outgoing_inactive_days", "sms_outgoing_to_onnet_count", "sms_outgoing_to_onnet_spendings", "sms_outgoing_to_onnet_inactive_days", "sms_outgoing_to_offnet_count", "sms_outgoing_to_offnet_spendings", "sms_outgoing_to_offnet_inactive_days", "sms_outgoing_to_abroad_count", "sms_outgoing_to_abroad_spendings", "sms_outgoing_to_abroad_inactive_days", "sms_incoming_count", "sms_incoming_spendings", "sms_incoming_from_abroad_count", "sms_incoming_from_abroad_spendings", "gprs_session_count", "gprs_usage", "gprs_spendings", "gprs_inactive_days", "last_100_reloads_count", "last_100_reloads_sum", "last_100_calls_outgoing_duration", "last_100_calls_outgoing_to_onnet_duration", "last_100_calls_outgoing_to_offnet_duration", "last_100_calls_outgoing_to_abroad_duration", "last_100_sms_outgoing_count", "last_100_sms_outgoing_to_onnet_count", "last_100_sms_outgoing_to_offnet_count", "last_100_sms_outgoing_to_abroad_count", "last_100_gprs_usage", "user_intake", "user_has_outgoing_calls", "user_has_outgoing_sms", "user_use_gprs", "user_does_reload", "n_months", "churn"]) 
).cache() 

ca1DF.show(5) 
|user_account_id|user_lifetime|user_no_outgoing_activity_in_days|user_account_balance_last| user_spendings|reloads_inactive_days|  reloads_count|  reloads_sum|calls_outgoing_count|calls_outgoing_spendings|calls_outgoing_duration|calls_outgoing_spendings_max|calls_outgoing_duration_max|calls_outgoing_inactive_days|calls_outgoing_to_onnet_count|calls_outgoing_to_onnet_spendings|calls_outgoing_to_onnet_duration|calls_outgoing_to_onnet_inactive_days|calls_outgoing_to_offnet_count|calls_outgoing_to_offnet_spendings|calls_outgoing_to_offnet_duration|calls_outgoing_to_offnet_inactive_days|calls_outgoing_to_abroad_count|calls_outgoing_to_abroad_spendings|calls_outgoing_to_abroad_duration|calls_outgoing_to_abroad_inactive_days|sms_outgoing_count|sms_outgoing_spendings|sms_outgoing_spendings_max|sms_outgoing_inactive_days|sms_outgoing_to_onnet_count|sms_outgoing_to_onnet_spendings|sms_outgoing_to_onnet_inactive_days|sms_outgoing_to_offnet_count|sms_outgoing_to_offnet_spendings|sms_outgoing_to_offnet_inactive_days|sms_outgoing_to_abroad_count|sms_outgoing_to_abroad_spendings|sms_outgoing_to_abroad_inactive_days|sms_incoming_count|sms_incoming_spendings|sms_incoming_from_abroad_count|sms_incoming_from_abroad_spendings|gprs_session_count|gprs_usage|gprs_spendings|gprs_inactive_days|last_100_reloads_count|last_100_reloads_sum|last_100_calls_outgoing_duration|last_100_calls_outgoing_to_onnet_duration|last_100_calls_outgoing_to_offnet_duration|last_100_calls_outgoing_to_abroad_duration|last_100_sms_outgoing_count|last_100_sms_outgoing_to_onnet_count|last_100_sms_outgoing_to_offnet_count|last_100_sms_outgoing_to_abroad_count|last_100_gprs_usage|user_intake|user_has_outgoing_calls|user_has_outgoing_sms|user_use_gprs|user_does_reload|n_months|churn|month|churn| 
|    0|   1031|       947.0|  0.3333333333333333|10.993333333333334|     10.3|    12.0|1.3333333333333333| 10.013333333333334|  83.66666666666667|  5.859999999999999|      55.69|   0.5966666666666667|   10.333333333333334|   0.6666666666666666|        0.0|        0.0|         0.0|   0.6666666666666666|    23.333333333333332|    2.8833333333333333|         25.0|   0.6666666666666666|        0.0|        0.0|         0.0|0.6666666666666666| 135.33333333333334|      4.44|      0.06|   0.3333333333333333|    16.333333333333332|        0.98|   0.3333333333333333|    57.666666666666664|     3.4599999999999995|   0.3333333333333333|        0.0|         0.0|0.3333333333333333|     14.0|       0.0|        0.0|    0.0|  0.0|   0.0|    0.0|    1307.0| 5.666666666666667|    22.01666666666667|         130.48|          0.0|       65.33333333333333|      0.0|     287.3333333333333|         34.0|     113.66666666666667|    0.0|  0.0|      0|     1|   1|    0|  1| 3| 9| 0| 
|    1|   4231|       951.0|  1.3333333333333333|27.546666666666667|     6.45|    22.0|    1.0| 12.013333333333334|  46.333333333333336|     6.45|   47.150000000000006|   1.3233333333333333|      8.81|   1.3333333333333333|        0.0|        0.0|         0.0|   1.3333333333333333|    31.666666666666668|    6.400000000000001|     42.656666666666666|   1.3333333333333333|        0.0|        0.0|         0.0|1.3333333333333333| 0.6666666666666666|      0.0|      0.0|      57.0|       0.0|        0.0|      57.0|        0.0|         0.0|      57.0|        0.0|         0.0|    57.0| 10.666666666666666|       0.0|        0.0|    0.0|  0.0|   0.0|    0.0|    1307.0|     4.0|    32.026666666666664|      156.96666666666667|          0.0|      145.42999999999998|      0.0|     1.6666666666666667|         0.0|     0.3333333333333333|    0.0|  0.0|      0|     1|   1|    0|  1| 3| 9| 0| 
|    2|   5231|       523.0|  0.6666666666666666|    14.62| 1.0999999999999999|   1307.0|    0.0|     0.0|  14.333333333333334|  1.0999999999999999|   7.573333333333333|   0.7266666666666666|      4.84|   0.6666666666666666|        0.0|        0.0|         0.0|   0.6666666666666666|     8.333333333333334|    0.3233333333333333|     2.1566666666666667|   0.6666666666666666|        0.0|        0.0|         0.0|0.6666666666666666|     0.0|      0.0|      0.0|      1307.0|       0.0|        0.0|      1307.0|        0.0|         0.0|      1307.0|        0.0|         0.0|   1307.0|  8.333333333333334|       0.0|        0.0|    0.0|  0.0|   0.0|    0.0|    1307.0|     0.0|        0.0|      47.330000000000005|          0.0|      10.356666666666667|      0.0|         0.0|         0.0|         0.0|    0.0|  0.0|      0|     1|   0|    0|  0| 3| 9| 0| 

from pyspark.ml.feature import StandardScaler, VectorAssembler 
assembler = VectorAssembler(inputCols=["user_lifetime", "user_no_outgoing_activity_in_days", "user_account_balance_last", "user_spendings", "reloads_inactive_days", "reloads_count", "reloads_sum", "calls_outgoing_count", "calls_outgoing_spendings", "calls_outgoing_duration", "calls_outgoing_spendings_max", "calls_outgoing_duration_max", "calls_outgoing_inactive_days", "calls_outgoing_to_onnet_count", "calls_outgoing_to_onnet_spendings", "calls_outgoing_to_onnet_duration", "calls_outgoing_to_onnet_inactive_days", "calls_outgoing_to_offnet_count", "calls_outgoing_to_offnet_spendings", "calls_outgoing_to_offnet_duration", "calls_outgoing_to_offnet_inactive_days", "calls_outgoing_to_abroad_count", "calls_outgoing_to_abroad_spendings", "calls_outgoing_to_abroad_duration", "calls_outgoing_to_abroad_inactive_days", "sms_outgoing_count", "sms_outgoing_spendings", "sms_outgoing_spendings_max", "sms_outgoing_inactive_days", "sms_outgoing_to_onnet_count", "sms_outgoing_to_onnet_spendings", "sms_outgoing_to_onnet_inactive_days", "sms_outgoing_to_offnet_count", "sms_outgoing_to_offnet_spendings", "sms_outgoing_to_offnet_inactive_days", "sms_outgoing_to_abroad_count", "sms_outgoing_to_abroad_spendings", "sms_outgoing_to_abroad_inactive_days", "sms_incoming_count", "sms_incoming_spendings", "sms_incoming_from_abroad_count", "sms_incoming_from_abroad_spendings", "gprs_session_count", "gprs_usage", "gprs_spendings", "gprs_inactive_days", "last_100_reloads_count", "last_100_reloads_sum", "last_100_calls_outgoing_duration", "last_100_calls_outgoing_to_onnet_duration", "last_100_calls_outgoing_to_offnet_duration", "last_100_calls_outgoing_to_abroad_duration", "last_100_sms_outgoing_count", "last_100_sms_outgoing_to_onnet_count", "last_100_sms_outgoing_to_offnet_count", "last_100_sms_outgoing_to_abroad_count", "last_100_gprs_usage", "user_intake", "user_has_outgoing_calls", "user_has_outgoing_sms", "user_use_gprs", "user_does_reload"], outputCol="features") 
scaler = StandardScaler(withMean=True, withStd=True, inputCol="features", outputCol="scaled_features") 
ca1FeaturizedDF = assembler.transform(ca1DF) 
ca1FeaturizedDF.show(5) 
|user_account_id|user_lifetime|user_no_outgoing_activity_in_days|user_account_balance_last| user_spendings|reloads_inactive_days|  reloads_count|  reloads_sum|calls_outgoing_count|calls_outgoing_spendings|calls_outgoing_duration|calls_outgoing_spendings_max|calls_outgoing_duration_max|calls_outgoing_inactive_days|calls_outgoing_to_onnet_count|calls_outgoing_to_onnet_spendings|calls_outgoing_to_onnet_duration|calls_outgoing_to_onnet_inactive_days|calls_outgoing_to_offnet_count|calls_outgoing_to_offnet_spendings|calls_outgoing_to_offnet_duration|calls_outgoing_to_offnet_inactive_days|calls_outgoing_to_abroad_count|calls_outgoing_to_abroad_spendings|calls_outgoing_to_abroad_duration|calls_outgoing_to_abroad_inactive_days|sms_outgoing_count|sms_outgoing_spendings|sms_outgoing_spendings_max|sms_outgoing_inactive_days|sms_outgoing_to_onnet_count|sms_outgoing_to_onnet_spendings|sms_outgoing_to_onnet_inactive_days|sms_outgoing_to_offnet_count|sms_outgoing_to_offnet_spendings|sms_outgoing_to_offnet_inactive_days|sms_outgoing_to_abroad_count|sms_outgoing_to_abroad_spendings|sms_outgoing_to_abroad_inactive_days|sms_incoming_count|sms_incoming_spendings|sms_incoming_from_abroad_count|sms_incoming_from_abroad_spendings|gprs_session_count|gprs_usage|gprs_spendings|gprs_inactive_days|last_100_reloads_count|last_100_reloads_sum|last_100_calls_outgoing_duration|last_100_calls_outgoing_to_onnet_duration|last_100_calls_outgoing_to_offnet_duration|last_100_calls_outgoing_to_abroad_duration|last_100_sms_outgoing_count|last_100_sms_outgoing_to_onnet_count|last_100_sms_outgoing_to_offnet_count|last_100_sms_outgoing_to_abroad_count|last_100_gprs_usage|user_intake|user_has_outgoing_calls|user_has_outgoing_sms|user_use_gprs|user_does_reload|n_months|churn|month|churn|   features| 
|    0|   1031|       947.0|  0.3333333333333333|10.993333333333334|     10.3|    12.0|1.3333333333333333| 10.013333333333334|  83.66666666666667|  5.859999999999999|      55.69|   0.5966666666666667|   10.333333333333334|   0.6666666666666666|        0.0|        0.0|         0.0|   0.6666666666666666|    23.333333333333332|    2.8833333333333333|         25.0|   0.6666666666666666|        0.0|        0.0|         0.0|0.6666666666666666| 135.33333333333334|      4.44|      0.06|   0.3333333333333333|    16.333333333333332|        0.98|   0.3333333333333333|    57.666666666666664|     3.4599999999999995|   0.3333333333333333|        0.0|         0.0|0.3333333333333333|     14.0|       0.0|        0.0|    0.0|  0.0|   0.0|    0.0|    1307.0| 5.666666666666667|    22.01666666666667|         130.48|          0.0|       65.33333333333333|      0.0|     287.3333333333333|         34.0|     113.66666666666667|    0.0|  0.0|      0|     1|   1|    0|  1| 3| 9| 0|[1031.0,947.0,0.3...| 
|    1|   4231|       951.0|  1.3333333333333333|27.546666666666667|     6.45|    22.0|    1.0| 12.013333333333334|  46.333333333333336|     6.45|   47.150000000000006|   1.3233333333333333|      8.81|   1.3333333333333333|        0.0|        0.0|         0.0|   1.3333333333333333|    31.666666666666668|    6.400000000000001|     42.656666666666666|   1.3333333333333333|        0.0|        0.0|         0.0|1.3333333333333333| 0.6666666666666666|      0.0|      0.0|      57.0|       0.0|        0.0|      57.0|        0.0|         0.0|      57.0|        0.0|         0.0|    57.0| 10.666666666666666|       0.0|        0.0|    0.0|  0.0|   0.0|    0.0|    1307.0|     4.0|    32.026666666666664|      156.96666666666667|          0.0|      145.42999999999998|      0.0|     1.6666666666666667|         0.0|     0.3333333333333333|    0.0|  0.0|      0|     1|   1|    0|  1| 3| 9| 0|(62,[0,1,2,3,4,5,...| 
|    2|   5231|       523.0|  0.6666666666666666|    14.62| 1.0999999999999999|   1307.0|    0.0|     0.0|  14.333333333333334|  1.0999999999999999|   7.573333333333333|   0.7266666666666666|      4.84|   0.6666666666666666|        0.0|        0.0|         0.0|   0.6666666666666666|     8.333333333333334|    0.3233333333333333|     2.1566666666666667|   0.6666666666666666|        0.0|        0.0|         0.0|0.6666666666666666|     0.0|      0.0|      0.0|      1307.0|       0.0|        0.0|      1307.0|        0.0|         0.0|      1307.0|        0.0|         0.0|   1307.0|  8.333333333333334|       0.0|        0.0|    0.0|  0.0|   0.0|    0.0|    1307.0|     0.0|        0.0|      47.330000000000005|          0.0|      10.356666666666667|      0.0|         0.0|         0.0|         0.0|    0.0|  0.0|      0|     1|   0|    0|  0| 3| 9| 0|(62,[0,1,2,3,4,5,...| 

scalerModel = scaler.fit(ca1FeaturizedDF) 
ca1FeaturizeScaleddDF = scalerModel.transform(ca1FeaturizedDF) 
ca1FeaturizeScaleddDF.show(5) 

который произвел ошибку:

--------------------------------------------------------------------------- 
Py4JJavaError        Traceback (most recent call last) 
<ipython-input-24-4a1ada825b56> in <module>() 
    1 ca1FeaturizeScaleddDF = scalerModel.transform(ca1FeaturizedDF) 
----> 2 ca1FeaturizeScaleddDF.show(5) 

/opt/apache-spark/python/pyspark/sql/dataframe.py in show(self, n, truncate) 
255   +---+-----+ 
256   """ 
--> 257   print(self._jdf.showString(n, truncate)) 
258 
259  def __repr__(self): 

/opt/apache-spark/python/lib/py4j-0.9-src.zip/py4j/java_gateway.py in __call__(self, *args) 
811   answer = self.gateway_client.send_command(command) 
812   return_value = get_return_value(
--> 813    answer, self.gateway_client, self.target_id, self.name) 
814 
815   for temp_arg in temp_args: 

/opt/apache-spark/python/pyspark/sql/utils.py in deco(*a, **kw) 
43  def deco(*a, **kw): 
44   try: 
---> 45    return f(*a, **kw) 
46   except py4j.protocol.Py4JJavaError as e: 
47    s = e.java_exception.toString() 

/opt/apache-spark/python/lib/py4j-0.9-src.zip/py4j/protocol.py in get_return_value(answer, gateway_client, target_id, name) 
306     raise Py4JJavaError(
307      "An error occurred while calling {0}{1}{2}.\n". 
--> 308      format(target_id, ".", name), value) 
309    else: 
310     raise Py4JError(

Py4JJavaError: An error occurred while calling o172.showString. 
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 16.0 failed 1 times, most recent failure: Lost task 0.0 in stage 16.0 (TID 20, localhost): java.lang.IllegalArgumentException: Do not support vector type class org.apache.spark.mllib.linalg.SparseVector 
at org.apache.spark.mllib.feature.StandardScalerModel.transform(StandardScaler.scala:150) 
at org.apache.spark.ml.feature.StandardScalerModel$$anonfun$2.apply(StandardScaler.scala:141) 
at org.apache.spark.ml.feature.StandardScalerModel$$anonfun$2.apply(StandardScaler.scala:141) 
at org.apache.spark.sql.catalyst.expressions.GeneratedClass$SpecificUnsafeProjection.apply(Unknown Source) 
at org.apache.spark.sql.execution.Project$$anonfun$1$$anonfun$apply$1.apply(basicOperators.scala:51) 
at org.apache.spark.sql.execution.Project$$anonfun$1$$anonfun$apply$1.apply(basicOperators.scala:49) 

Ошибка и данные сокращаются.

Очевидно, что я понятия не имею, что это значит и как это исправить ..

я пытаюсь сделать модель K-средства из примера на другом наборе данных. Требуется модель K -средства.

Спасибо!

С Рождеством!

Answer 1

Это происходит потому, что в Spark 1.x StandardScaler не может быть использована для трансформации SparseVectorwithMean. Это поведение было изменено в Spark 2.0, где векторы преобразуются в DenseVector, если запрашивается центрирование.

В Спарк 1.x вы должны позаботиться о том, что вручную: использование

from pyspark.mllib.linalg import SparseVector, DenseVector, VectorUDT 
from pyspark.sql.functions import udf 

as_dense = udf(
    lambda v: DenseVector(v.toArray()) if v is not None else None, 
    VectorUDT() 
) 

Пример:

df = sc.parallelize([ 
    (1, SparseVector(5, [0, 3], [1.0, -1.0])) 
]).toDF(["id", "features"]) 

scaler = StandardScaler(
    withMean=True, withStd=True, inputCol="features", outputCol="scaled_features" 
) 

scaler.fit(df).transform(df).show(1) 

... ERROR Executor: Exception in task 6.0 in stage 31.0 (TID 68) 
java.lang.IllegalArgumentException: Do not support vector type class org.apache.spark.mllib.linalg.SparseVector 
at org.apache.spark.mllib.feature.StandardScalerModel.transform(StandardScaler.scala:150) 

df_dense = df.withColumn("features", as_dense("features")) 

scaler.fit(df_dense).transform(df_dense).show(1) 

+---+--------------------+--------------------+ 
| id|   features|  scaled_features| 
+---+--------------------+--------------------+ 
| 1|[1.0,0.0,0.0,-1.0...|[0.0,0.0,0.0,0.0,...| 
+---+--------------------+--------------------+ 

На стороне записки переименовании логики вы используете неверно и неэффективно. Если вы хотите сбросить индекс столбца select должно быть достаточно:

ca1DF = sqlContext.read.load(...).select(
    ["user_account_id", "user_lifetime", ... "churn"] 
)