BigQuery - Проверьте, существует ли таблица

Question

У меня есть набор данных в BigQuery. Этот набор данных содержит несколько таблиц.

Я делаю следующие шаги программно с помощью BigQuery API:

1. запрашивая таблицы в наборе данных - Поскольку мой ответ слишком велик, я позволяя параметр allowLargeResults и отвлекая мой ответ на таблицу назначения ,

2. Затем я экспортирую данные из таблицы адресатов в ведро GCS.

Требования:

• Предположим, мой процесс терпит неудачу на шаге 2, я хотел бы повторно запустить этот шаг.

• Но перед повторным запуском, я хотел бы проверить/проверить, что определенная таблица назначения с именем «xyz» уже существует в наборе данных.

• Если он существует, я хотел бы повторно запустить шаг 2.

• Если он не существует, я хотел бы сделать Foo.

Как это сделать?

Заранее спасибо.

Answer 1

Вот питон фрагмент кода, который будет сказать, существует ли таблица:

def doesTableExist(project_id, dataset_id, table_id): 
    bq.tables().delete(
     projectId=project_id, 
     datasetId=dataset_id, 
     tableId=table_id).execute() 
    return False 

Попеременно, если вы не хотите удалить таблицу в процессе, вы можете попробовать:

def doesTableExist(project_id, dataset_id, table_id): 
    try: 
    bq.tables().get(
     projectId=project_id, 
     datasetId=dataset_id, 
     tableId=table_id).execute() 
    return True 
    except HttpError, err 
    if err.resp.status <> 404: 
     raise 
    return False 

Если вы хотите знать, откуда вышли bq, вы можете позвонить по телефону build_bq_client: http://code.google.com/p/bigquery-e2e/source/browse/samples/ch12/auth.py

В общем, если вы используете t его проверить, следует ли запускать задание, которое изменит таблицу, может быть хорошей идеей просто выполнить работу в любом случае и использовать WRITE_TRUNCATE в качестве записи.

Другим подходом может быть создание предсказуемого идентификатора задания и повторное задание с этим идентификатором. Если задание уже существует, работа уже выполнена (возможно, вы захотите дважды проверить, чтобы убедиться, что задание не сработало, однако).

Answer 2

Наслаждайтесь:

def doesTableExist(bigquery, project_id, dataset_id, table_id): 
    try: 
     bigquery.tables().get(
      projectId=project_id, 
      datasetId=dataset_id, 
      tableId=table_id).execute() 
     return True 
    except Exception as err: 
     if err.resp.status != 404: 
      raise 
     return False 

Существует правку в исключения.

Answer 3

С my_bigquery быть экземпляром класса google.cloud.bigquery.Client (уже authentified и связанные с проектом):

my_bigquery.dataset(dataset_name).table(table_name).exists() # returns boolean 

Он делает вызов API для проверки существования таблицы с помощью запроса GET

Источник: https://googlecloudplatform.github.io/google-cloud-python/0.24.0/bigquery-table.html#google.cloud.bigquery.table.Table.exists

Это работает для меня с помощью 0,27 модуля Google BigQuery Python

Answer 4

Решение Alex F работает на v0.27, но не будет работать в более поздних версиях. Для того, чтобы migrate to v0.28+, решение ниже будет работать.

from google.cloud import bigquery 

project_nm = 'gc_project_nm' 
dataset_nm = 'ds_nm' 
table_nm = 'tbl_nm' 

client = bigquery.Client(project_nm) 
dataset = client.dataset(dataset_nm) 
table_ref = dataset.table(table_nm) 

def if_tbl_exists(client, table_ref): 
    from google.cloud.exceptions import NotFound 
    try: 
     client.get_table(table_ref) 
     return True 
    except NotFound: 
     return False 

if_tbl_exists(client, table_ref)