Сколько потребителей запускает Spark для потока Kinesis?

Question

У меня есть Spark Cluster (1.6.1) с 1 ведущим и 4 подчиненными, работающими на Мезосе. Искра, я запускаю данные процесса из Kinesis Stream. Код работает отлично, за исключением того, что я вижу, что Spark сильно использует два подчиненных устройства.

После более подробного расследования я вижу, что аренда кинезийского потока предоставляется только одной машине, и каждая дата реплицируется с еще одной машиной.

Смотреть изображение Спарк UI ниже для деталей

Мой вопрос, почему свечи не используя два других рабов? Включает ли Spark только один прослушиватель при макс? Это зависит от количества осколков в потоке Kinesis?

Answer 1

Убедитесь, что количество созданных приемников Amazon Kinesis составлено из нескольких исполнителей, чтобы они равномерно распределяли нагрузку на всех исполнителей.

Ссылка - https://blogs.aws.amazon.com/bigdata/post/Tx3ET30EGDKUUI2/Implementing-Efficient-and-Reliable-Producers-with-the-Amazon-Kinesis-Producer-L