Запуск пакетного задания после загрузки таблицы

Question

Мне нужен совет с обработкой пакетных заданий на недавно загруженной таблице (с использованием php и csv).

В настоящее время процесс, который я запускаю каждую неделю, состоит в том, чтобы загрузить две таблицы (одна составляет ~ 400000 строк и ~ 24 Мб данных, вторая - ~ 7000 строк и ~ 627 кб данных), а затем планировать запросы с периодическим приоритетом для загрузки данные из этих таблиц и сохранить результат в новую таблицу.

Когда я пытаюсь запустить пакетные запросы в дневное время, мне обычно приходится выполнять некоторую существенную задержку, например, 20 минут или около того. Проблема заключается в том, что во время процедуры загрузки bigquery запускает их почти сразу, таким образом бросая «Таблица не найденная ошибка» и пропуская некоторые из них.

недавней загрузки: Загрузить таблицу 1 «job_75ae1fa6db89418b8fe2b6c443501246» Загрузить таблицу 2 «job_a79c39ae528944848fab85650b94a5d7» Один из числа пакетного задания, чтобы показать последнюю ошибку является «job_dd18580ccb51486dabf82d1d408a3199»

Вопрос - это поведение правильным для партии рабочие места? и есть ли способ предсказать/запланировать время их выполнения, или мне просто нужно их разделить и запустить в другое время?

Answer 1

Вы явно не получили много гарантий о том, когда будут выполняться пакетные задания. Я бы серьезно относился к этому. Вы можете, однако, использовать get, чтобы узнать, когда это произошло.

Пункт пакетных заданий состоит в том, что они могут запускаться на машинах, которые в противном случае были бы бездействующими. Никто заранее не знает, какой будет доступность таких машин. Если это проблема для вас, не планируйте пакетные задания.