падение дубликатами для каждого раздела

Question

происхождения данных

cls, id 
---- 
a, 1 
a, 1 
---- 
b, 3 
b, 3 
b, 4 

ожидается выход

cls, id 
---- 
a, 1 
---- 
b, 3 
b, 4 

идентификатор может быть дубликатами только в тех же ЦБС, это означает, что тот же идентификатор не существует по clses.

В этом случае.

df.dropDuplicates($id) 

будет перемещаться по всем разделам, чтобы проверить дубликаты по cls. и перераспределяется до 200 (значение по умолчанию)

Теперь, как я могу запускать dropDuplicates для каждого раздела отдельно, чтобы сократить вычислительную стоимость?

что-то вроде

Answer 1

Вы, вероятно, после того, как что-то вроде этого:

val distinct = df.mapPartitions(it => { 
    val set = Set(); 
    while (it.hasNext) { 
     set += it.next() 
    } 
    return set.iterator 
});