Найти дублированные строки с оригинальным

Question

я могу получить дублируются строки в R на data.tabledt использованием

dt[duplicated(dt, by=someColumns)] 

Однако, я хотел бы получить пары дублирующих строк и «не-дублей», для примера рассмотрим dt :

col1, col2, col3 
    A  B C1 
    A  B C2 
    A B1 C1 

Теперь dt[duplicated(dt, by=c('col1', "col2")) бы мне что-то вдоль линий

col1, col2, col3 
    A  B C2 

Я хотел бы получить это вместе с рядом, что он не выбрал дублироваться, то есть

col1, col2, col3 
    A  B C1 
    A  B C2 

Сравнение скорости ответов:

> system.time(dt[duplicated(dt2, by = t) | duplicated(dt, by = t, fromLast = TRUE)]) 
    user system elapsed 
    0.008 0.000 0.009 
> system.time(dt[, .SD[.N > 1], by = t]) 
    user system elapsed 
77.555 0.100 77.703 

Answer 1

Я считаю, что это по существу, дубликат вопроса this, хотя я могу видеть, как вы, возможно, не нашли его ...

... вот ответ buildi нг от логики, изложенной в ссылочного вопрос:

dt <- read.table(text = "col1 col2 col3 
    A  B C1 
    A  B C2 
    A B1 C1", header = TRUE, stringsAsFactors = FALSE) 


idx <- duplicated(dt[, 1:2]) | duplicated(dt[, 1:2], fromLast = TRUE) 

dt[idx, ] 
#--- 
    col1 col2 col3 
1 A B C1 
2 A B C2 

Поскольку вы используете data.table, это, вероятно, что вы хотите:

library(data.table) 
dt <- data.table(dt) 
dt[duplicated(dt, by = c("col1", "col2")) | duplicated(dt, by = c("col1", "col2"), fromLast = TRUE)] 
#--- 
    col1 col2 col3 
1: A B C1 
2: A B C2 

Answer 2

Вы можете легко достичь этого только с помощью .N:

dt[, .SD[.N > 1], by = list(col1, col2)] 
## col1 col2 col3 
## 1: A B C1 
## 2: A B C2 

---

Edit:

Вы также можете попробовать использовать бинарный поиск, который является очень эффективным, хотя и кажется, что duplicated еще более эффективным

setkey(dt[, indx := .N, by = list(col1, col2)], indx)[!J(1)] 
## col1 col2 col3 
## 1: A B C1 
## 2: A B C2