Google cloud pub/sub для Datastax Cassandra (В облаке Google)

Question

Я развернул кластер Datastax кластера с 9 узлами в облаке Google.

Теперь мне было предложено прочитать данные из QUEUE и загрузить Datastax в облако Google (Продолжение потоковой передачи).

Я знаю, что pub/sub может читать данные из QUEUE, но не уверен, может ли он напрямую загрузиться в Datastax.

Возможно ли, чтобы pub/sub загрузил данные в Datastax в облаке Google?

Я новичок в pub/sub, поэтому не знаю, с чего начать или как начать.

Спасибо,

Answer 1

Там нет автоматического способа загрузки данных из Google Cloud Pub/Sub в Datastax. Вам нужно будет создать подписку и написать код абонента, который получает сообщения из этой подписки, а затем записывает их в Datastax. , вероятно, является хорошим местом для начала необходимых шагов.

Answer 2

Один из способов - иметь конвейер потока данных (работает в потоковом режиме), считанный с Pub/Sub, и записывать в Cassandra. Нет встроенного Cassandra-раковины для Dataflow (хотя one is in the works как часть Apache Beam), но этого может быть достаточно, чтобы ваш прецедент мог написать Cassandra в Parallels Dataflow.