Создание разреженной матрицы 100K * 100K (10 миллиардов элементов) в R

Question

У меня есть файл csv, содержащий 2 столбца. В столбце 1 есть имя пользователя и столбец 2, имя пользователя, на которое пользователь ответил. В файле содержится в общей сложности 2 миллиона записей. В Column1 и Column 2. существует около 100K уникальных имен пользователей. Я хочу создать матрицу 100K * 100K, которая даст количество раз, когда каждый пользователь общался с другими 99 999 пользователями. Можно ли создать матрицу в R? Очевидно, что матрица будет очень скудной, по крайней мере, 99,98% матрицы будет нулевой, так как из возможных 10 миллиардов записей всего лишь 2 миллиона записей, что составляет всего 0,02 процента. Как узнать, сколько раз каждый пользователь общался с другими 99,999 пользователями и помещал его в виде матрицы?

Answer 1

Вы можете использовать sparseMatrix из Matrix пакета:

require(Matrix) 
#this just to generate some random strings 
require(stringi) 
set.seed(1) 
#generating 100k usernames 
users<-stri_rand_strings(100000,6) 
#simulating col1 and col2 
col1<-sample(users,1000000,T) 
col2<-sample(users,1000000,T) 
#hashing to integer values through factor 
col1<-factor(col1,levels=users) 
col2<-factor(col2,levels=users) 
#creating the matrix 
mySparseMatrix<-sparseMatrix(as.numeric(col1),as.numeric(col2),x=1) 
#not a huge object 
object.size(mySparseMatrix) 
#12400720 bytes 

Таким образом, вы создаете значение sparseMatrix которого i,j является один, если я-й пользователь передает j-го пользователя и 0 в противном случае.

Редактировать

Если вы хотите также, чтобы показать, сколько раз общался с J-го I-го пользователя, мы можем обратиться за помощью к data.table пакета. Сразу после создания col1 и col2:

require(data.table) 
    dt<-data.table(col1=factor(col1,levels=users),col2=factor(col2,levels=users)) 
    #aggregating by col1 and col2 
    dt<-dt[,list(times=.N),by=list(col1,col2)] 
    mySparseMatrix<-sparseMatrix(as.numeric(dt$col1),as.numeric(dt$col2),x=dt$times)