Удалить строку в таблице улей внешней таблицы

Question

Я загрузил текстовый файл в таблицу внешних улей. Этот текстовый файл имеет разделитель /, чтобы разграничить столбец. Кроме того, в некоторых столбцах имеется столбец с одной строкой. Из-за этого существует несоответствие данных, хранящихся во внешней таблице. В моем случае уникальный ключ - row_id, который содержит значения, такие как 1_234. rowid - числовое. Но из-за нового символа строки в текстовом файле некоторые строки имеют текст в row_id.

Есть ли способ удалить эти строки в улье или как удалить новый символ строки в текстовом файле в hdfs?

Answer 1

Вам нужно будет написать задание hadoop (streaming is a option) для очистки ваших данных перед загрузкой в ​​Hive.