Ошибка рабочего потока Google Dataflow

Я пытаюсь выполнить задачу предварительной обработки с использованием Google Dataflow на Cloud-ML. Я получаю следующую ошибку:Ошибка рабочего потока Google Dataflow

Не удалось выполнить рабочий процесс. Причины: (c70954cc80d0504c): Произошла одна или несколько проверок доступа для временного местоположения или поэтапных файлов. Дополнительные сведения см. В других сообщениях об ошибках. Для получения дополнительной информации о безопасности и разрешениях

Пожалуйста, помогите мне с этим.

Thanks, Srini.

источник

2017-02-22 Srinivas Thandu

Можете ли вы предоставить более подробную информацию? На что настроен ваш stagingLocation? С какими аргументами работает работа? –

Спасибо за ответ Idrees. Таким образом, мое место размещения настроено на местоположение ковша gs: // . Я вставляю соответствующий журнал заданий из веб-интерфейса потока данных, чтобы получить более глубокий контекст исключения, которое я получаю: (46c3b12a44f5a2db): Поэтажный пакет cloudml-0.1.9-alpha.tar.gz в местоположении «gs: // dataflow- sct-ml/flowers__20170223_170110/preproc/temp/flowers-20170223-170112.1487869273.754931/cloudml-0.1.9-alpha.tar.gz 'недоступен. –

Это, по-видимому, указывает на то, что используемое вами ведро не настроено для доступа к проекту, в котором выполняется работа. Предлагается использовать ведро, принадлежащее тому же проекту, на котором вы выполняете работу. Для получения дополнительных указаний см:

источник

2017-02-27 20:32:32

Спасибо за ответ Чарльз. Ведро, которое я использую, фактически создается в рамках одного и того же проекта. Я также рассмотрел разрешения, предоставленные учетным записям служб, созданным для «Cloud-ML» и «Dataflow», которые являются включенными API для моего проекта. Я явно дал разрешение «Владелец» для обеих этих учетных записей, которое является разрешением самого высокого уровня, чтобы узнать, могут ли они получить доступ к местоположению ведра. Но ни одна из них не помогла, пожалуйста, предложите, если вы увидите любое другое возможное обходное решение, которое я могу попробовать. –

Можете ли вы проверить, использует ли ваша производственная система какую-либо конкретную сеть и подсети. Если это так, ваш поток данных также должен присутствовать в одной сети, например. «производственная» сеть. Это очень полезно, если вы обращаетесь к любому из служб потока данных на частных IP-адресах, как если бы это было так, тогда вам нужно быть в той же сети, что и ваши ресурсы. – Jack

Ошибка рабочего потока Google Dataflow

ответ

Смежные вопросы