Можно ли проверять порядок столбцов при загрузке данных из плоских файлов с помощью команды aws copy

Question

Я загружаю данные из заархивированных плоских файлов в redshift с помощью команды copy, я хотел бы понять, есть ли способ подтвердить, что порядок столбцов файлов правильный? (например, если поля - все varchar, тогда данные могут быть загружены в неправильные столбцы).

В команде copy documentation показано, что вы можете указать порядок столбцов, но не для плоских файлов, но мне было интересно, есть ли какие-либо другие подходы, которые позволят мне проверить, как были поставлены столбцы (например, , загружая только строку заголовка в фиктивную таблицу для проверки, но это не кажется возможным).

Answer 1

Вы не можете сделать это внутри Redshift. COPY не предоставляет никаких параметров для загрузки только определенного количества строк или выполнения какой-либо проверки.

Ваш лучший вариант - сделать это в инструменте, где вы планируете загрузку. Вы можете получить первую строку из сжатого файла достаточно легко (zcat < file.z|head -1), но для файла на S3 вам, возможно, придется сначала загрузить все.

FWIW, процесс формирования файла нагрузки должен быть полностью автоматизирован таким образом, чтобы порядок столбцов не мог измениться. Если эти файлы подготовлены вручную, вы просите о любых неприятностях.