Удаление дубликатов в наборах диадических данных (R)

Question

У меня есть кадр данных с 309 888 наблюдениями и 121 переменным. Я хотел бы удалить экземпляры, где дублика дублируется.

данных

D1 <- data.frame(row = c(1, 2, 3, 4, 5, 6, 7 , 8), 
      country = c("China", "China", "China", "China", "Myanmar", "Myanmar", "Myanmar", "Myanmar"), 
      year = c(1990, 1990, 1990, 1991, 1990, 1990, 1990, 1991), 
      group_a = c("Tibetan", "Tibetan", "Han", "Tibetan", "Karens", "Bamar", "Bamar", "Bamar"), 
      group_b = c("Han", "Manchu", "Tibetan", "Han", "Bamar", "Shan", "Karens", "Karens"), 
      var1= c(0, 0, 0, 0, 0, 0, 0, 0), 
        var2 = c(0, 0, 0, 0, 0, 0, 0, 0)) 

выглядит

row country year group_a group_b var1 var2 
1 1 China 1990 Tibetan  Han 0 0 
2 2 China 1990 Tibetan Manchu 0 0 
3 3 China 1990  Han Tibetan 0 0 
4 4 China 1991 Tibetan  Han 0 0 
5 5 Myanmar 1990 Karens Bamar 0 0 
6 6 Myanmar 1990 Bamar Shan 0 0 
7 7 Myanmar 1990 Bamar Karens 0 0 
8 8 Myanmar 1991 Bamar Karens 0 0 

В этой таблице, я хотел бы удалить строку 3 и строку 7 в комбинации столбцов 'group_a' и «группы b 'в строке 3 идентичны строке 1, то же самое относится к ряду 7 и строке 5.

Нужные Выходные

row country year group_a group_b var1 var2 
1 1 China 1990 Tibetan  Han 0 0 
2 2 China 1990 Tibetan Manchu 0 0 
4 4 China 1991 Tibetan  Han 0 0 
5 5 Myanmar 1990 Karens Bamar 0 0 
6 6 Myanmar 1990 Bamar Shan 0 0 
8 8 Myanmar 1991 Bamar Karens 0 0 

Любые предложения о том, как это сделать?

Answer 1

Вы могли бы сделать это

Использование dplyr

library(dplyr) 

D1[,c("group_a", "group_b")] = lapply(D1[,c("group_a", "group_b")], as.character) 

D1 %>% 
    rowwise() %>% 
    mutate(tmp = paste(sort(c(group_a,group_b)), collapse = '')) %>% 
     group_by(country, year) %>% 
     distinct(tmp) %>% 
     select(-tmp) 

#Source: local data frame [6 x 7] 
#Groups: country, year 

# row country year group_a group_b var1 var2 
#1 1 China 1990 Tibetan  Han 0 0 
#2 2 China 1990 Tibetan Manchu 0 0 
#3 4 China 1991 Tibetan  Han 0 0 
#4 5 Myanmar 1990 Karens Bamar 0 0 
#5 6 Myanmar 1990 Bamar Shan 0 0 
#6 8 Myanmar 1991 Bamar Karens 0 0 

Использование data.table

library(data.table) 
setDT(D1)[, c("group_a", "group_b") := lapply(.SD, as.character), 
          .SDcols = c('group_a', 'group_b')] 

out = unique(D1[,tmp := paste(sort(c(group_a,group_b)), collapse = ''), 
          by = row], by = c("tmp", "country", "year")) 
out[,!"tmp", with = FALSE] 

# row country year group_a group_b var1 var2 
#1: 1 China 1990 Tibetan  Han 0 0 
#2: 2 China 1990 Tibetan Manchu 0 0 
#3: 4 China 1991 Tibetan  Han 0 0 
#4: 5 Myanmar 1990 Karens Bamar 0 0 
#5: 6 Myanmar 1990 Bamar Shan 0 0 
#6: 8 Myanmar 1991 Bamar Karens 0 0 

база R альтернативы использования * Применение функции

D1[,c("group_a", "group_b")] = lapply(D1[,c("group_a", "group_b")], as.character) 

D1$tmp = apply(D1[,c("group_a","group_b")], 1, 
     function(x) paste(sort(c(x[1], x[2])), collapse = "")) 

do.call(rbind, lapply(split(D1, list(D1$country, D1$year)), 
     function(x){ out = x[!duplicated(x$tmp),]; out[,-8]})) 

Answer 2

использованием data.table:

library(data.table) 
setDT(D1) 
setkey(D1,row) 
D1[D1[, list(country,year,min(group_a,group_b),max(group_a,group_b)), by = row][, list(row = min(row)), by = c("country","year","V3","V4")][, row]] 

Для факторов, вы можете изменить тип назад и вперед (смотреть на as.character) или настроить вызов:

D1[D1[, list(country,year,min(as.character(group_a),as.character(group_b)),max(as.character(group_a),as.character(group_b))), by = row][, list(row = min(row)), by = c("country","year","V3","V4")][, row]]