1
Есть ли возможность создать BigQueryIO.Write-подобную функцию определения стока, которая будет возвращать схему таблицы (или, желательно, читать ее с бокового ввода)?BigQueryIO.Write с динамической схемой
В моем случае использования я получаю сообщения от PubSub, которые преобразуются в TableRow. Сообщения могут иметь другую схему, которая всегда обратно совместима.
В моем конвейере я могу создать самую новую схему для конкретного окна, и такая схема должна использоваться в записи приемника в BigQuery.
Есть ли вероятность, что такая функция доступна в SDK? ;)
Marcin, как часто вы ожидаете изменения схемы? –
Я не знаю. Это должно быть автоматическим, поскольку мы показываем интерфейс для изменения схемы для наших конечных пользователей. По этой причине мы хотели бы устранить всю ручную работу, требуемую здесь. –
(Чтобы ответить на исходный вопрос явно, это невозможно в SDK.) Возможно ли инициировать обновление схемы через любой путь кода, который использует пользовательский интерфейс? Это кажется менее вероятным, чем просто своевременное обновление обработки сообщений. –