Google Cloud Sdk из DataProc Cluster

Question

Каков правильный способ использования/установки python google cloud apis, например pub-sub из кластера google-dataproc? Например, если im использует zeppelin/pyspark в кластере, и я хочу использовать pub-sub api, как мне его подготовить?

Непонятно мне, что установлено и что не установлено при настройке кластера по умолчанию, и если/как я должен попытаться установить библиотеки python для google cloud apis.

Я понимаю, что могут быть области/аутентификация для настройки. Чтобы быть ясным, я могу использовать apis локально, но я не уверен, что является самым чистым способом сделать apis доступным из кластера, и я не хочу выполнять какие-либо ненужные шаги.

Answer 1

В общем, на данный момент вам необходимо принести свои собственные клиентские библиотеки для различных API Google, если не использовать Google Cloud Storage connector или BigQuery connector с Java или с помощью методов RDD в PySpark, которые автоматически делегируются в реализации Java.

Для аутентификации вы должны просто использовать --scopes https://www.googleapis.com/auth/pubsub и/или --scopes https://www.googleapis.com/auth/cloud-platform, а учетная запись службы на виртуальных машинах кластера Dataproc сможет аутентифицироваться для использования PubSub через установленный по умолчанию поток учетных данных.