2
Есть ли какая-либо конкретная причина для метода Spark DataFrame API для возврата java.util.List вместо списка Scala?collectAsList in Spark DataFrame
A
ответ
2
Я считаю, что в основном это функция удобства для пользователей Java, а также делает вещи намного проще для API Python. Глядя на журналы git (а также аннотацию), он был введен в первоначальное слияние API DataFrame, поэтому он не обязательно добавлялся в ответ на конкретную потребность. Иногда некоторые API-интерфейсы возвращают типы Java, поскольку они легче взаимодействуют с Python (через py4j), но это не похоже на это (API-интерфейс python собирает, поворачивая DF в RDD и собирая на RDD).
Смежные вопросы
- 1. CaseWhen in spark DataFrame
- 2. tokenizer in spark dataframe API
- 3. na.fill in Spark DataFrame Scala
- 4. reducebykey и aggregatebykey in spark Dataframe
- 5. DataFrame to HDFS in spark scala
- 6. Строка select для Dataframe in spark
- 7. Spark Scala Method Signature in DataFrame API
- 8. OneHotEncoder в Spark Dataframe in Pipeline
- 9. Back-reference in Spark DataFrame `regexp_replace`
- 10. Spark DataFrame
- 11. Ошибка карты Spark DataFrame
- 12. Spark SQL - IN item
- 13. Spark - Создание вложенных DataFrame
- 14. Spark DataFrame - Last Partition Collect Slow
- 15. Количество разделов Spark Dataframe
- 16. Spark DataFrame zipWithIndex
- 17. Spark DataFrame mapPartitions
- 18. Как расплавить Spark DataFrame?
- 19. Как развернуть Spark DataFrame?
- 20. Spark dataframe explode function
- 21. simple spark dataframe join
- 22. Преобразование Spark Dataframe Column
- 23. Для цикла Spark dataframe
- 24. Spark DataFrame и Cassandra
- 25. Преобразование DataFrame Spark Scala
- 26. Spark DataFrame vs sqlContext
- 27. Агрегация данных DataFrame Spark
- 28. Spark Implicit $ for DataFrame
- 29. spark dataframe - GroupBy aggregation
- 30. Spark-SQl Разделы DataFrame
Я не мог найти документацию по этому выбору, поэтому я думаю, что это зависит от вывода. Я бы предположил, что это потому, что 'java.util.List' является изменчивым, тогда как scala' List' не является (и, возможно, предпочтительный вариант здесь лучше для изменяемого списка). –
Никакой конкретной причины! http://www.scala-lang.org/api/current/index.html#scala.collection.mutable.MutableList - изменяемый список scala – eliasah