Ошибка: «Требуемый параметр отсутствует» - при получении анонимной таблицы в BigQuery

Question

Я пытаюсь запросить анонимную таблицу, созданную в результате запроса набора данных таблицы в BigQuery. Я пытаюсь использовать Jobs.get(), чтобы найти анонимное имя таблицы, используя пример в Google BigQuery Analytics, но я столкнулся с ошибкой.

Google BigQuery аналитик Пример (стр 209):

запрос 1:

class QueryHandler(webapp2.RequestHandler): 
credentials = GoogleCredentials.get_application_default() 
service = discovery.build('bigquery', 'v2', credentials=credentials) 
def query1(self): 
    myquery = {'configuration': { 
     'query': { 
      'query': 'SELECT DISTINCT user_id FROM `app.mydataset.mytable`', 
      'destinationTable': { 
      'projectId': projectId, 
      'datasetId': datasetId, 
      'tableId': 'tableId'}, 
      'useLegacySql': False 
       } 
      } 
    } 

    response = service.jobs().query(projectId=projectId, body=myquery).execute() 
    job = service.jobs().get(**response['jobReference']).execute() 
    # both versions of this variable (destination_table) produce the same error message 
    # destination_table = job['configuration']['query']['destinationTable'] 
    destination_table = job['destinationTable'] 

    table = service.jobs().get(projectId=destination_table['projectId'], 
           datasetId=destination_table['datasetId'], 
           tableId=destination_table['tableId']).execute() 
    return table 

Ошибка:

Internal Server Error

The server has either erred or is incapable of performing the requested operation.

....

HttpError: https://www.googleapis.com/bigquery/v2/projects/app_id/queries?alt=json returned "Required parameter is missing">

Мои вопросы:

1. Почему я получаю эту ошибку? (Я следовал примеру, и я не вижу, что я пропустил)
2. Как передать анонимное имя таблицы из первого запроса во втором запросе с использованием Python? Например:

запроса 2:

def query2(self): 
.... 
query: SELECT * FROM [anonymous table from query 1] 

Answer 1

1. Why am I getting this error? (I followed the example and I can't see what I missed)

Ваше тело запроса уродливы для jobs.query API call. Вам не нужен объект «конфигурация» или «запрос», который обертывает то, что у вас есть.

Try:

myquery = { 
    'query': 'SELECT DISTINCT user_id FROM `app.mydataset.mytable`', 
    'useLegacySql': False 
} 

response = service.jobs().query(projectId=projectId, body=myquery).execute() 

В мета-комментарий, мы (команда BigQuery) знает, что «обязательный параметр отсутствует» сообщение об ошибке является слишком расплывчатым для отладки, и приводит к путанице подобных ситуациям , Кроме того, непризнанные параметры (например, объект «конфигурация») просто игнорируются, поэтому, если вы неправильно указали параметр в своем запросе, вы можете легко получить ошибку «Обязательный параметр отсутствует». Мы надеемся решить эту проблему в будущих обновлениях API.

---

2. How can I pass an anonymous table name from the first query in the second query using Python?

Вы должны быть в состоянии получить таблицу назначения из jobs.get response, предполагая, что вы пройти в планируемом jobReference.

Однако, обратите внимание, что использование этой анонимную таблицы в другом запросе является unsupported operation on anonymous results tables, без гарантий:

The query results from this method are saved to a temporary table that is deleted approximately 24 hours after the query is run. You can read this results table by calling either bigquery.tabledata.list(table_reference) or bigquery.jobs.getQueryResults(job_reference). The table and dataset name are non-standard, and cannot be used in any other APIs, as the behavior may be unpredictable.

Вместо этого, вы, вероятно, лучше проходит в явной таблице назначения, которая может быть сделана только с jobs.insert, а не с jobs.query. Найдите параметр configuration.query.destinationTable.

Вы можете поместить эти таблицы назначения в набор данных, который sets up an expiration time for contained tables через определенное количество времени (час, день или ...), если вы обеспокоены тем, чтобы держать их на некоторое время.