Регистрация Dataframes в Спарк

Question

Я присоединился два Dataframes в искрой, используя ниже код -

Dataframes являются: expDataFrame, AccountList

val expDetails = expDataFrame.as("fex").join(accountList.as("acctlist"),$"fex.acct_id" === $"acctlist.acct_id", "inner") 

Теперь я пытаюсь показать, как acct_id из оба блока данных.

я сделал ниже код -

expDetails.select($"fex.acct_id",$"acct_id.acct_id").show 

но получаю такое же имя столбца в два раза acct_id

Я хочу два уникальное имя столбца, как fex_acct_id, acctlist_acct_id определить столбец, из которого dataframe ,

Answer 1

Вам просто нужно добавить псевдоним к столбцам, используя методы as or alias. Это сделает работу:

expDetails.select(
    $"fex.acct_id".as("fex_acct_id"), 
    $"acct_id.acct_id".as("acctlist_acct_id") 
).show