нахождение «почти» индексов дубликатов в таблице данных и вычисление дельта

Question

У меня есть маленький (2k) набор данных, содержащий ответы на вопросники, заполненные студентами, которые были отбираются дважды в год. не все студенты, которые присутствовали на первой волне, были там для второй волны и наоборот. для каждого ученика был создан уникальный идентификатор, который состоял из школьного кода, кода класса, номера ученика и волны в виде десятичной точки. например, 100612.1 - студент из школы 10, класс 6, 12 в списке имен, и это была первая волна. идея десятичной точки была способом снова идентифицировать одного и того же ученика в наборе данных (единственное значение, которое отличается от abs (1) от данного id, является одним и тем же учеником на другой волне). По крайней мере, это было идея.

я думал о сценарии, который будет делать следующее: - найти строки, которые уникальный идентификатор меньше абс (1) друг от друга - для тех строк, генерировать новую строку (в новой таблице) который состоит из идентификатора студента и дельта измеренных переменных (т. е. значения в волне 2 - значение в волне 1).

Я новичок в R, но у меня крошечный бит фона в другом ООП. Я думал о создании цикла for, который работает от 1 до длины (df) и просто ищет его «брат». мое чувство кишки подсказывает мне, что это не так, как в Р. делаются какие-то идеи? все, что мне нужно, - это быстрый способ просеивания данных, ищущих вторую волновую строку. Я думаю, что остальное должно быть прямо оттуда.

спасибо, что Вам помогли

PS. так как это мой первый пост здесь, я заранее извиняюсь за любые нарушения в этом сообщении ... :)

Answer 1

Вопрос ссылается на data.table, поэтому здесь можно адаптировать ответ @ jed с помощью этого пакета.

ids <- c(100612.1,100612.2,100613.1,100613.2,110714.1,201802.2) 
answers <- c(5,4,3,4,1,0) 

Пример данных, как и раньше, теперь вместо data.frame и tapply вы можете сделать это:

library(data.table) 

surveyDT <- data.table(ids, answers) 

surveyDT[, `:=` (child = substr(ids, 1, 6), wave = substr(ids, 8, 8))] # split ID's 
# note multiple assign-by-reference := syntax above 
setkey(surveyDT, child, wave) # order data 

# calculate delta on keyed data, grouping by child 
surveyDT[, delta := diff(answers), by = child] 

unique(surveyDT[, delta, by = child]) # list results 
    child delta 
1: 100612 -1 
2: 100613  1 
3: 110714 NA 
4: 201802 NA 

Для удаления строк со значениями NA для дельта:

unique(surveyDT[, .SD[(!is.na(delta))], by = child]) 
    child  ids answers wave delta 
1: 100612 100612.1  5 1 -1 
2: 100613 100613.1  3 1  1 

Использование .SDcols для вывода только конкретные столбцы (в дополнение к столбцам by), например,

unique(surveyDT[, .SD[(!is.na(delta))], by = child, .SDcols = 'delta']) 
    child delta 
1: 100612 -1 
2: 100613  1 

Мне понадобилось некоторое время, чтобы познакомиться с синтаксисом data.table, но теперь я нахожу его более интуитивно понятным и быстрым для больших данных.

Answer 2

Есть два способа, которые приходят на ум. Проще всего использовать функцию пола(), которая возвращает целое число, например:

floor(100612.1) 
#[1] 100612 

floor(9.9) 
#[1] 9 

В качестве альтернативы, вы можете написать довольно простое выражение регулярного выражения, чтобы избавиться от десятичных тоже. Затем вы можете использовать unique(), чтобы найти строки, которые являются или не дублируются.

Answer 3

позволяет сделать некоторые поддельные данные, чтобы мы могли видеть нашу проблему легко:

ids <- c(100612.1,100612.2,100613.1,100613.2,110714.1,201802.2) 
answers <- c(5,4,3,4,1,0) 
survey <- data.frame(ids,answers) 

Теперь давайте разделить наши идентификаторы в двух разных колонках:

survey$child_id <- substr(survey$ids,1,6) 
survey$wave_id <- substr(survey$ids,8,8) 

Тогда мы закажем на ребенка и волны и вычислить различия на основе ребенка:

survey[order(survey$child_id, survey$wave_id),] 
survey$delta <- unlist(tapply(survey$answers, survey$child_id, function(x) c(NA,diff(x)))) 

Выход:

 ids answers child_id wave_id delta 
1 100612.1  5 100612  1 NA 
2 100612.2  4 100612  2 -1 
3 100613.1  3 100613  1 NA 
4 100613.2  4 100613  2  1 
5 110714.1  1 110714  1 NA 
6 201802.2  0 201802  2 NA