Как загрузить данные из S3 в vertica

Question

У меня есть кластер Vertica на AWS с тремя узлами. У меня также есть текстовые файлы и файлы gzip в S3. Я хочу загрузить эти файлы из S3 в таблицы базы данных Vertica. Что было бы шагом? Не удалось найти простого руководства. Есть ли что-нибудь вроде команды redshift copy?

Answer 1

Документ, на который указал Кермит, идеально подходит для настройки, но это довольно сложно сделать.

Вместо этого вы создаете ведро в S3 и монтируете это ведро на своем Linux-хосте.

Вот короткая статья о вас может сделать это:

HOW TO MOUNT AWS S3 BUCKET INTO AWS EC2 INSTANCE STEP BY STEP Надеюсь, что это помогает :)

Answer 2

Правильный ответ @ комментарий Кермита. На самом деле это не , что сложно, руководство довольно хорошее.

Я действительно не думаю, что это намного проще, но вы также можете передать его from S3 using curl и передать его на сеанс vsql, выполняющий COPY FROM STDIN.

Нечто подобное (где s3getfile это скрипт для вызова локона со всем Params вам нужно):

s3getfile /path/to/file | vsql -h host -U user -w password -c 'COPY mytable FROM STDIN' 

Answer 3

Загрузка данные в Vertica из S3 ведер становится очень простым. На данный момент вам не нужно иметь данные на узле. Поэтому ничего не нужно делать с s3getfile/s3cmd/s3fs. Начиная с версии 7.2.2 Vertica поставляется с библиотекой Vertica для веб-сервисов Amazon. Эта библиотека позволит вам использовать URL-адрес вашего файла данных непосредственно в команде COPY. Вы можете использовать URL-адрес HTTPS или URL-адрес S3. Все, что вам понадобится, - это ключи доступа AWS и URL-адрес к вашему файлу данных.

Ваша команда COPY может быть столь же просто, как:

COPY test_schema.test_load SOURCE S3(url='https://s3.amazonaws.com/yourbucket/sample_load.csv'); 

Вот ссылка на пост, который охватывает использование Vertica библиотеки Amazon Web Services в деталях: http://www.dbjungle.com/loading-data-from-aws-s3-bucket-to-vertica-made-easy/