Как обрабатывать значения «NULL» в SparkSQL?

Question

Таблица My Hive имела некоторые значения NULL, которые мне нужно было отфильтровать. Но когда я запускал запросы, такие как "x IS NOT NULL", "x != NULL", "x <> NULL", ни одна из них не работала. После небольшого поиска я узнал, что я должен сказать партизану Hive для обработки значений NULL, как указано в свойстве serialization.null.format.

Мне нужно знать, где я могу установить это.

Могу ли я сделать это, позвонив по функции setConf на Hive Context при запуске SparkSQL?

Answer 1

Вы можете использовать в своем искрах SQL IF isnull в каждом конкретном случае.