2016-12-23 4 views
0

Я работаю над приложением IOT, где мне нужно читать потоковые данные из темы PubSub. Я хочу прочитать эти данные с помощью Google Cloud Dataflow SDK. Я использую Java 1.8Чтение потоковых данных с использованием Google Cloud Dataflow SDK

Я использую пробную версию Google Cloud Platform. Когда я использовал метод PubSubIO.Read для чтения данных потоковой передачи, я получал ошибки в файле журнала, что моему проекту не хватает квоты на процессор для запуска приложения.

Поэтому я хочу прочитать потоковые данные с помощью Google Cloud Dataflow SDK.

Может кто-нибудь, пожалуйста, дайте мне знать, где я могу найти полные примеры чтения потоковых данных с помощью Google Cloud Dataflow SDK.

Заранее спасибо.

+0

PubsubIO.Read - правильный путь. Пожалуйста, разместите ошибки, которые вы получили, и, в идеале, ваш идентификатор задания. – jkff

+0

(bdaaec3d0f58e13): Не удалось выполнить рабочий процесс. Причины: (50ffe37e5aed6b7): Project xxxxxxxx не имеет достаточной квоты для выполнения этого рабочего процесса с 3 экземплярами в области us-central1. Краткое резюме квоты (доступно/требуется): 80/3 экземпляров, 8/12 ЦП, 2048/1260 диск GB, 1024/0 SSD-диск GB, 100/1 группы экземпляров, 50/1 управляемые группы экземпляров, шаблоны экземпляров 100/1, 23/3 IP-адреса. См. Https://cloud.google.com/compute/docs/resource-quotas о запросе дополнительной квоты. –

+0

Пожалуйста, найдите сообщение об ошибке из журналов выше. Пожалуйста, дайте мне знать ваши мысли. –

ответ

1

В документации по облачным документам имеется.

В соответствии с вашим сообщением об ошибке, у вас действительно недостаточно квоты ЦП для запуска рабочих 3x 4-threaded (n1-standard-4). CPU quota for Google Cloud trial - это 8 процессоров.

Вы можете использовать configure your job, чтобы требовать меньше процессоров, например. используя меньшее число работников (например, --numWorkers=1) или другой тип машины (--workerMachineType=n1-standard-1)

Смежные вопросы