Нужно сгруппировать тип структуры в массив

Question

У меня есть таблица hive со структурой столбца. Мне нужно запустить запрос, чтобы собрать несколько строк этого столбца в массив.

Конечный результат должен быть массив структуры < ....>

Я попытался «collect_set», но он дает мне ошибку, что она не может быть использована для сложных типов. Мне нужен какой-то «group_concat», как в mySSQL.

Есть ли у вас какие-либо идеи, как я могу это достичь (желательно без использования udf/udaf)?

Спасибо.

ОБНОВЛЕНИЕ: У меня есть временное решение с использованием UDAF. Но мне интересно, возможно ли это со встроенными функциями.

Answer 1

Это работает?

SELECT collect_set(column_containing_struct.struct_field_name) FROM your_table; 
-- Or some variant of this 

Это предполагает несколько вещей:

• Ваша таблица содержит столбец с именем "column_containing_struct", который содержит структуры.
• Структура в этом столбце содержит поле с именем "struct_field_name".
• Что вы пытаетесь сделать, это создать массив всех уникальных значений, которые встречаются в этом поле структуры.

Если вы не пытаетесь дедуплицировать и хотите, чтобы все, что когда-либо появлялось там, используйте вместо этого collect_list.