Backend ошибка импорта из Cloud Storage в BigQuery

Question

В последнее время мы начали видеть ряд ошибок, таких, как это при импорте из Cloud Storage в BigQuery:

Ожидание job_72ae7db68bb14e93b7a6990ed628aedd ... (153s) Текущий статус: RUNNING BigQuery ошибки в операции загрузки: Backend ошибка

Ожидание на job_894172da125943dbb2cd8891958d2d10 ... (364s) Текущий статус: RUNNING BigQuery ошибки в операции загрузки: Backend ошибка

Этот процесс проходит ежечасно, и ранее был стабильным е или долгое время. Ничто не изменилось в сценарии импорта или типах загружаемых данных. Пожалуйста, дайте мне знать, если вам нужна дополнительная информация.

Answer 1

Я просмотрел эти задания в журналах BigQuery - оба они, похоже, преуспели. Возможно, что вы получили ошибку при чтении состояния задания. Я подал внутреннюю ошибку, чтобы мы различали ошибки в задании и ошибки, получая состояние задания в инструменте bq.

После выполнения задания вы можете использовать bq show -j <job_d>, чтобы узнать, каково фактическое состояние задания. Если он все еще запущен, вы можете запустить bq wait <job_id>.

Я также взглянул на передние журналы; все запросы статуса для этих идентификаторов заданий возвращают коды HTTP 200 (успех).

Можете ли вы добавить параметр --apilog=file.txt в свою командную строку bq (вам нужно добавить его в начало командной строки, как в bq --apilog=file.txt load ...) и отправить вывод в случае, когда вы получили еще один сбой? Если вы беспокоитесь о конфиденциальных данных, не стесняйтесь отправлять их мне прямо (tigani at google).

Благодаря/ Джордан Тигани/ Google BigQuery Инженер