Как загрузить gzipped json-файл в bigquery через HTTP API?

Question

Когда я пытаюсь загрузить несжатый json-файл, он отлично работает; но когда я пытаюсь использовать gzipped версию того же json-файла, работа завершится неудачей с лексической ошибкой, возникшей в результате неспособности проанализировать содержимое json.

Я gzipped json-файл с помощью команды gzip из Mac OSX 10.8, и я установил sourceFormat в значение: "NEWLINE_DELIMITED_JSON".

Я сделал что-то неправильно или gzipped json-файл должен обрабатываться по-разному?

Answer 1

Вы можете загрузить сжат GZIP файлы в Google Cloud Storage, и BigQuery сможет глотать его с заданием нагрузки:

https://developers.google.com/bigquery/loading-data-into-bigquery#loaddatagcs

Answer 2

Я считаю, что использование/запрос, связанный многосекционный это не представляется возможным отправьте двоичные данные (например, сжатый файл. Однако, если вы не хотите использовать несжатые данные, вы можете использовать возобновляемую загрузку.

На каких языках вы кодируете? Python jobs.insert() api принимает параметр массовой загрузки, который вы должны filename для повторной загрузки (которая отправляет метаданные задания и новые данные таблицы как отдельные потоки). Я смог использовать это для загрузки сжатого файла.

Это то, что использует bq.py, поэтому вы можете посмотреть исходный код here.

Если вы не используете python, клиентские библиотеки googleapis для других языков должны иметь схожие функции.