Как получить разницу между двумя DataFrames?

Question

В SparkSQL 1.6 API (scala) Dataframe имеет функции для пересечения и за исключением, но не для разницы. Очевидно, что сочетание союза и, за исключением может быть использован для создания разницы:

df1.except(df2).union(df2.except(df1)) 

Но это, кажется, немного неудобно. По моему опыту, если что-то кажется неудобным, есть лучший способ сделать это, особенно в Scala.

Answer 1

Вы всегда можете переписать как:

df1.unionAll(df2).except(df1.intersect(df2)) 

серьезно, хотя этого UNION, INTERSECT и EXCEPT/MINUS довольно много стандартный набор SQL сочетающих операторов. Я не знаю какой-либо системы, которая предоставляет XOR как операцию из коробки. Скорее всего, потому что тривиально реализовать с помощью других трех, и там не так много оптимизировать.

Answer 2

Почему не ниже?

df1.except(df2) 

Answer 3

Обратите внимание, что EXCEPT (или MINUS, который является просто псевдонимом для EXCEPT) отменяет результаты. Так что, если вы ожидаете, «кроме» установлен (разн вы упомянули) + «пересекаются» устанавливается равным первоначальному dataframe, рассмотреть этот запрос функции, которая держит дубликаты:

https://issues.apache.org/jira/browse/SPARK-21274

Как я там написал, «КРОМЕ ALL "может быть переписана в Spark SQL как

SELECT a,b,c 
FROM tab1 t1 
    LEFT OUTER JOIN 
     tab2 t2 
    ON (
     (t1.a, t1.b, t1.c) = (t2.a, t2.b, t2.c) 
    ) 
WHERE 
    COALESCE(t2.a, t2.b, t2.c) IS NULL