Спарк dataframe: удаление элемента из массива

Question

у меня есть искра dataframe с column1 как:

column1: WrappedArray (Книга1/title1, Book2/title2, book3/title3) столбец2: Это первое предложение

Я хочу, чтобы удалить первый элемент из обеих колонок, желаемый о/р для column1 и Столбец2 соответственно является:

столбец1: WrappedArray (Book2/Заголовок 2, book3/title3) столбец2: это первое предложение

Для COLUMN2 вот UDF, что я написал, но он не работает

val removefirst = udf((x: String) => x.split(" ").slice(1,x.split(" ").size).mkString(" ")) 

Любая помощь с этим будет большим.

Answer 1

Вы должны иметь возможность отображать tail на WrappedArray.

Answer 2

val removefirst = udf((x: String) => x.split(" ").slice(1,x.split(" ").size).mkString(" ")) 

Приведенный выше код отлично подходит для столбца2. Выполним позже решение столбца 1.