Почему мой конвейер данных GCP не может создавать виртуальные машины?

Я ничего не вижу в сообщении об ошибке, указывающем, почему он не может создавать виртуальные машины. Сообщение об ошибке, приведенное ниже, было найдено на веб-консоли DataFlow под вкладкой «журналы». Я не мог найти больше деталей или каких-либо других ошибок в любом месте.Почему мой конвейер данных GCP не может создавать виртуальные машины?

23 марта 2016 года, 13:07:09 (d408c858b9bd6602): Не удалось выполнить рабочий процесс. Причины: (7bc822caf77dd216): невозможно создать виртуальные машины.

У нас нет сети "по умолчанию", но мы проходим --network = ourcustomnetworkname

Облако SDK версии 102.0.0 и следующие в моей POM:

<repositories> 
    <repository> 
<!-- Added to pull in latest build that supports subnetworks --> 
    <id>sonatype-staging</id> 
    <url>https://oss.sonatype.org/content/groups/staging/</url> 
</repository>

<dependencies> 
    <dependency> 
     <groupId>com.google.cloud.dataflow</groupId> 
     <artifactId>google-cloud-dataflow-java-sdk-all</artifactId> 
     <version>[1.0.0, 2.0.0)</version> 
    </dependency>

источник

2016-03-23 successhawk

Вы также проезжаете пользовательскую '--subnetwork'? –

В частности, если вы передаете подсеть, обратите внимание, что ожидаемый формат описан [здесь] (https://github.com/GoogleCloudPlatform/DataflowJavaSDK/blob/master/sdk/src/main/java/com/google/ cloud/dataflow/sdk/options/DataflowPipelineWorkerPoolOptions.java # L151) как 'zone/ZONE/subnetworks/SUBNETWORK'. –

@Ben Chambers Да --subnetwork = зоны/us-east1-b/subnetworks/edw-dev Я заметил в исходном коде, на который вы ссылались, что он не указывает формат для сетевого параметра. Знаете ли вы, в каком формате должен быть параметр сети? Кроме того, моя самая большая жалоба заключается в том, что я не вижу полезного сообщения об ошибке в журналах. Например, если я не передаю правильный формат, почему он не говорит о неправильном формате или, по крайней мере, в подсети не найден? – successhawk

Сеть должна быть указана как полный URL ресурса, например https://www.googleapis.com/compute/latest/projects/PROJECT_ID/global/networks/ourcustomnetworkname.

Вы можете найти это, выполнив gcloud compute networks describe ourcustomnetworkname и используя отображаемый там selfLink.

источник

2016-03-23 22:28:26

Я получаю ту же ошибку, если я добавлю сетевой параметр в качестве собственной ссылки, или если я добавлю значение мусора. Я также попытался передать selflink для параметра подсети с теми же результатами. Где вы находили эту информацию, что значение параметра сети должно быть самосогласованным? Я не видел его в онлайн-документах https://cloud.google.com/dataflow/pipelines/specifying-exec-params или API https://cloud.google.com/dataflow/java-sdk/JavaDoc/com/Google/облако/потоков данных/SDK/опции/DataflowPipelineWorkerPoolOptions # getNetwork-- – successhawk

Почему мой конвейер данных GCP не может создавать виртуальные машины?

ответ

Смежные вопросы