Удалить постоянные столбцы из RDD и вычислить матрицу ковариации

Мое RDD может иметь столбцы с постоянным значением. Другими словами, дисперсия некоторых столбцов может быть равна нулю. Моя цель - удалить все такие столбцы из RDD (и в конечном счете вычислить матрицу ковариации для остальных столбцов). Как я могу это сделать?Удалить постоянные столбцы из RDD и вычислить матрицу ковариации

Спасибо и уважением,

источник

2014-11-25 learning_spark

Комментарий удален. –

РДУ должен быть неизменен. Поэтому я не думаю, что вы хотите удалить что-то из этого, но просто map это что-то, что вам подходит и/или filter что-то (подробнее в documentation).

источник

2014-11-25 21:00:42

Предположим, мне нужно удалить первые два столбца из RDD. Как мне это сделать? –

Я думаю, вам нужно «сопоставить» его с помощью функции, которая отсекает первые два столбца от каждой записи. –

Удалить постоянные столбцы из RDD и вычислить матрицу ковариации

ответ

Смежные вопросы