Я работаю с набором данных объективов для фильма, у меня есть матрица (m X n) идентификатора пользователя как номер строки и фильма как столбцы, и я применил технологию уменьшения размеров и матричную факторизацию, чтобы уменьшить мои разреженная матрица (m X k, где k < n). Я хочу оценить производительность с помощью алгоритма k-ближайшего соседа (не библиотеки, моего собственного кода). Я использую sparkR 1.6.2. Я не знаю, как разбить мой набор данных на данные обучения и проверить данные в sparkR. Я пробовал встроенную функцию R (образец, подмножество, CARET), но он несовместим с рамкой данных искры. любезно дать некоторое предложение для проведения перекрестной проверки и обучения классификатора, используя мою собственную функцию, написанную в sparkRКак выполнить проверку перекрестных ссылок в sparkr
0
A
ответ
0
Пакет sparklyr (https://spark.rstudio.com/) обеспечивает простую функциональность для разделения данных. Например, если у нас есть фрейм данных df
в Spark, мы могли бы создать его копию с compute()
, затем разделим его на sdf_partition()
.
df_part <- df %>%
compute("df_part") %>%
sdf_partition(test = 0.2, train = 0.8, seed = 2017)
df_part
бы тогда подключение к Спарк DataFrame. Мы могли бы использовать collect()
для копирования Spark DataFrame в рамку данных R.
Смежные вопросы
- 1. Как обновить таблицу перекрестных ссылок?
- 2. Декораторы для перекрестных ссылок
- 3. перекрестных ссылок XSL файлы
- 4. Индексы перекрестных ссылок
- 5. Умножение Таблица перекрестных ссылок
- 6. XText перекрестных ссылок
- 7. Ограничение перекрестных ссылок MySQL
- 8. перекрестных ссылок Множественные таблицы
- 9. Управление объектами перекрестных ссылок
- 10. Список перекрестных ссылок ASP.NET
- 11. Реферирование перекрестных ссылок
- 12. Функция перекрестных ссылок Javascript
- 13. Как создать таблицу перекрестных ссылок в R?
- 14. SQL таблица перекрестных ссылок самореференция
- 15. Согласование перекрестных ссылок IBM Cognos
- 16. gcc: компиляция класса перекрестных ссылок
- 17. SQLite перекрестных ссылок уникальные комбинации
- 18. SSIS заполнения перекрестных ссылок таблица
- 19. объединить две таблицы перекрестных ссылок?
- 20. TestComplete - неверная ошибка перекрестных ссылок
- 21. История перекрестных ссылок Манипуляционное разрешение
- 22. Значения переменных перекрестных ссылок Javascript
- 23. AWS CodePipeline - Как создать набор перекрестных ссылок
- 24. Postgresql: Как присоединиться к таблице перекрестных ссылок?
- 25. hibernate, как обновить таблицу перекрестных ссылок
- 26. как для запроса SQL таблицы перекрестных ссылок
- 27. Обновление перекрестных ссылок в Microsoft Word
- 28. Список перекрестных ссылок пуст в Word 2010
- 29. Списки перекрестных ссылок в excel/access
- 30. избежать перекрестных ссылок в Objective-C
Это довольно расплывчато, не могли бы вы воспроизвести воспроизводимый пример с образцами данных кода, который вы пробовали, и, в идеале, желаемых результатов? – Konrad