Как экспортировать данные в таблицу BigQuery из Cloud Datalab?

Question

Я работаю в Google Cloud Datalab, и я хочу экспортировать рамку данных Pandas в качестве новой таблицы BigQuery. Я пытаюсь выполнить интерактивные справочные записные книжки, которые поставляются с облачным Datalab, хотя я вижу, что нет примеров экспорта в BigQuery, только в Google Cloud Storage.

В любом случае, я могу решить, как создать таблицу в BigQuery с правильной схемой, но я не могу разобраться, как получить фактические данные в таблицу!

Это то, что я получил в настоящее время:

dataset = bq.DataSet('calculations') 
dataset.create(friendly_name='blah', 
       description='blah blah') 
print 'Dataset exists', dataset.exists() 

# Create the schema for the table we're about to create. 
schema = bq.Schema.from_dataframe(measures[0]['data']) 
print schema 
print len(measures[0]['data']) 

# Create a table for our results. 
temptable = bq.Table('calculations.test').create(schema=schema, 
               overwrite=True) 

# How to export the actual data to the table? 

Так это выходы:

True 
[{'type': 'STRING', 'name': u'id'}, {'type': 'STRING', 'name': ... 
8173 

показывая, что мой dataframe имеет 8173 строк.

Если я иду в BigQuery, я вижу, что таблица была создана с правильной схемой, но в ней нет данных.

Как я могу фактически экспортировать данные там?

Если это невозможно, я мог бы вместо этого экспортировать в Cloud Storage, хотя я пробовал это и имею ту же проблему. Я бы предпочел экспортировать в BigQuery.

Answer 1

Вам нужно позвонить:

temptable.insert_data(df) 

где ФР ваш панды dataframe.