Как получить разреженные матрицы в H2O?

Question

Я пытаюсь получить разреженную матрицу в H2O, и мне было интересно, возможно ли это. Предположим, мы имеем следующее:

test <- Matrix(c(1,0,0,1,1,1,1,0,1), nrow = 3, sparse = TRUE) 

и принимая мой местный Н2О localH2O, я не могу сделать следующее:

as.h2o(test) 

Это дает ошибку: cannot coerce class "structure("dgCMatrix", package = "Matrix")" to a data.frame. Это кажется довольно логичным, однако, полагая, что тест настолько велик, что я не могу преобразовать его в dataframe, как я могу загрузить его в H2O? Использование разреженного матричного представления составляет всего 500 МБ.

Как загрузить разреженную матрицу в H2O?

Answer 1

Весьма сложно транспортировать данные, хранящиеся в памяти R, в память H2O по существу по двум причинам: R выполняет POST файла для потоковой передачи данных в H2O, что 1) не использует преимущества параллельного считывателя H2O, и 2) ограничивает ваши данные существующим в R.

Вместо этого используйте метод h2o.importFile из R, чтобы использовать параллельный считыватель H2O. Ваши данные могут работать в любом месте: HDFS, S3, обычная файловая система ...

H2O - это программа для чтения SVMLight, поэтому рекомендуется сохранять вашу разреженную матрицу из R в формате svmlight.

Надеюсь, это поможет!