BigQuery: загрузка данных в набор данных ЕС от GCS

В прошлом я успешно загружал данные в массивы данных BigQuery, размещенные в США, из данных CSV в размещенных в США конвертах GCS. Мы с тех пор решили перенести наши данные BigQuery в ЕС, и я создал новый набор данных с выбранным на нем регионом. Я успешно заполнил те из наших таблиц, которые достаточно малы для загрузки с моей машины дома. Но две таблицы слишком велики для этого, поэтому я хотел бы загрузить их из файлов в GCS. Я пробовал делать это как из ведомого GCS в США, так и из контейнера GCS, размещенного в ЕС (считая, что загрузка bq, возможно, не нравится пересекать регионы), но загрузка терпит неудачу каждый раз. Ниже приведена ошибка, которую я получаю из командной строки bq (500, Internal Error). Кто-нибудь знает причину, почему это может произойти? Загружает ли данные из наборов данных BigQuery, размещенных в ЕС, из GCS, что, как известно, работает для других?BigQuery: загрузка данных в набор данных ЕС от GCS

{ 
    "configuration": { 
    "load": { 
     "destinationTable": { 
     "datasetId": "######", 
     "projectId": "######", 
     "tableId": "test" 
     }, 
     "schema": { 
     "fields": [ 
      { 
      "name": "test_col", 
      "type": "INTEGER" 
      } 
     ] 
     }, 
     "sourceFormat": "CSV", 
     "sourceUris": [ 
     "gs://######/test.csv" 
     ] 
    } 
    }, 
    "etag": "######", 
    "id": "######", 
    "jobReference": { 
    "jobId": "job_Y4U58uTyxitsvbgljFi2x534N7M", 
    "projectId": "######" 
    }, 
    "kind": "bigquery#job", 
    "selfLink": "https://www.googleapis.com/bigquery/v2/projects/######", 
    "statistics": { 
    "creationTime": "1445336673213", 
    "endTime": "1445336674738", 
    "startTime": "1445336674738" 
    }, 
    "status": { 
    "errorResult": { 
     "message": "An internal error occurred and the request could not be completed.", 
     "reason": "internalError" 
    }, 
    "errors": [ 
     { 
     "message": "An internal error occurred and the request could not be completed.", 
     "reason": "internalError" 
     } 
    ], 
    "state": "DONE" 
    }, 
    "user_email": "######" 
}

источник

2015-10-21 Dzamo Norton

У вас низкая ставка. Важно отметить, что вы должны пометить принятые ответы, используя отметку слева от опубликованного ответа ниже голосования. Это увеличит вашу ставку. Посмотрите, как это работает, просматривая эту ссылку: http://meta.stackoverflow.com/questions/5234/how-does-accepting-an-answer-work#5235 – Pentium10

Спасибо, я сделал это –

После поиска с помощью других связанных с этим вопросов на StackOverflow я в конце концов понял, что я поставил свою G ведро региона EUROPE-WEST-1 и не мультидонорскому региону EU местоположения. Сейчас все работает так, как ожидалось.

источник

2015-10-26 06:42:19

BigQuery: загрузка данных в набор данных ЕС от GCS

ответ

Смежные вопросы