Я знаю, что мы можем создать таблицу Impala какImpala минимум DDL
CREATE EXTERNAL TABLE SCHEMA.TableName LIKE PARQUET
'/rootDir/SecondLevelDir/RawFileThatKnowsDataTypes.parquet'
Но я не уверен, что если Impala может создать таблицу из файла (предпочтительно текстовый файл), который не имеет известного форматирования. Таким образом, другими словами, если я просто удаляю случайный файл в hadoop с помощью команды put, могу ли я обернуть DDL Impala вокруг него и создать таблицу. Может ли кто-нибудь сказать мне?
Но это текстовый файл, иметь любую структуру? Вы спрашиваете, может ли Impala автоматически определить форматирование? –
Извините, я не видел этот комментарий. Да, это то, что я прошу очень много! –
Нет, у Импалы такой функции нет. Это было бы слишком сложно и подвержено ошибкам - подумайте о текстовом файле сообщений чата с запятыми, точками с запятой, вкладками и другими символами пунктуации; как вы программным образом определяете разделитель столбцов? Вы должны определить форматирование явно. –