Надежность потоковой передачи в BigQuery

Question

У меня проблема, которую я не понимаю, даже если вижу потенциальную проблему.

Я хочу создать таблицу на дату T, передать данные внутри нее. На следующий день я удаляю таблицу в дату T, создаю новую таблицу на дату T + 1, а затем передаю данные. И т.д.

Проблема возникает между созданием таблицы и потоковой передачей. Действительно, иногда я передаю данные, и ничто фактически не транслируется. Обычно, когда я удаляю таблицу на дату Т и воссоздаю ее напрямую.

Есть ли разница между удалением таблицы и фактическим удалением ссылки? Иногда Google говорит мне, что таблица не существует ... на самом деле она существует.

Я делаю это с Java. Компиляция кажется верной, но фактическая ссылка кажется долгожданной.

Я поставил тему/спать 2 минуты после операции и все еще ... Я могу подождать 10 минут и более, но будет ли он на 100% надежным?

Благодаря

Answer 1

Существует текущее ограничение по сценарию вы упомянули, и мы надеемся решить в будущем.

Я собираюсь со своего поста, что вы используете ежедневные таблицы? Вы рассмотрели возможность использования секционированных таблиц. Данные автоматически попадут в раздел последнего дня. Вы также можете установить срок действия данных. Если вы хотите удалить данные из раздела вручную, вы можете сделать запрос с allow_large_results и WRITE_TRUNCATE для раздела в качестве адресата.

https://cloud.google.com/bigquery/docs/creating-partitioned-tables