Чтение BigQuery федеративной таблицы как источника в Dataflow вызывает ошибку

Question

У меня есть источник федерации в BigQuery, который указывает на некоторые файлы CSV в GCS.

Когда я пытаюсь читать таблицы объединения BigQuery в качестве источника для Dataflow трубопровода, он выдает следующее сообщение об ошибке:

1226 [main] ERROR com.google.cloud.dataflow.sdk.util.BigQueryTableRowIterator - Error reading from BigQuery table Federated_test_dataflow of dataset CPT_7414_PLAYGROUND : 400 Bad Request 
{ 
    "code" : 400, 
    "errors" : [ { 
    "domain" : "global", 
    "message" : "Cannot list a table of type EXTERNAL.", 
    "reason" : "invalid" 
    } ], 
    "message" : "Cannot list a table of type EXTERNAL." 
} 

ли Dataflow не поддерживают федеративные источники в BigQuery, или я делаю что-то неправильно ? Я знаю, что я мог бы читать файлы из GCS непосредственно в моем конвейере, но я предпочел бы работать с объектами BigQuery TableRow вместо этого из-за дизайна приложения.

PCollection<TableRow> results = pipeline.apply("fed-test", BigQueryIO.Read.from("<project_id>:CPT_7414_PLAYGROUND.Federated_test_dataflow")).apply(ParDo.of(new DoFn<TableRow, TableRow>() { 
     @Override 
     public void processElement(ProcessContext c) throws Exception { 
      System.out.println(c.element()); 
     } 
    })); 

Answer 1

Как говорит Майкл, BigQuery не поддерживает прямое чтение из EXTERNAL (федеративных таблиц) или VIEWs: даже чтение эффективно берет запрос.

Для чтения из этих таблиц в DataFlow, вы можете использовать вместо этого

BigQueryIO.Read.fromQuery("SELECT * FROM table_or_view_name") 

, который будет выдавать запрос и сохранить результат во временную таблицу, а затем начать процесс чтения. Конечно, это потребует затрат на запросы на BigQuery, поэтому, если вы хотите повторно читать из той же таблицы VIEW или EXTERNAL, вы можете вручную создать таблицу.

Answer 2

Источник данных BigQuery источника данных был разработан для чтения управляемых таблиц BigQuery типа «ТАБЛИЦА». (Определение типа можно найти по адресу https://cloud.google.com/bigquery/docs/reference/v2/tables#type.) Таблицы EXTERNAL и VIEW не поддерживаются.

Функция «Объединенная таблица» BigQuery позволяет bigquery напрямую запрашивать данные в таких местах, как Google Cloud Storage. Dataflow также может читать файлы из облачного хранилища Google, поэтому вы должны указывать свое вычисление потока данных непосредственно в источниках, которые вы хотите прочитать.