Искры могут подаваться различными способами, как это объясняется в документации (например, Kafka, Flume, Twitter, ZeroMQ, Kinesis или обычные старые TCP-сокеты). Кто-нибудь знает, как кормить Spark Streaming от Amazon SQS?Кормление Apache Spark Streaming от Amazon SQS?
Существует проект github под названием spark-sql-receiver. Он был загружен в репозиторий maven с помощью groupId из com.github.imapi artifactId из spark-sqs-receiver_2.10. В настоящее время он находится на версии 1.0.1. По внешнему виду github project, он также активно поддерживается. Ниже приведен пример кода без ошибок, скопированного из файла README.md проекта:
ssc.receiverStream(new SQSReceiver("sample")
.credentials(<key>, <secret>)
.at(Regions.US_EAST_1)
.withTimeout(2))
Как мы можем добиться аналогичной операции с pyspark? Возможно ли это? Спасибо. – user3698581
Запрашивать у пользователя список рассылки Spark может помочь. –
Спасибо, я полагал, что здесь никто не отвечает ... – antoneti