искры потоковой печати() метод

Question

Согласно Sparks документации по output transformations

печати(): печать первые десять элементов каждой партии данных в DStream на узле драйвера выполняется приложение потоковой передачи. Этот полезен для разработки и отладки.

по cluster overview documentation:

Спарк приложения работают как независимые множества процессов на кластере, координируется объекта SparkContext в основной программе (так называемый программа драйвера).

Мой вопрос: есть ли драйвер == master?

i.e. печать на принтере у водителя?

Answer 1

мой вопрос: есть ли драйвер == мастер?

№ Водитель - это процесс, в котором вы инициализируете свой SparkContext. Он будет жить там, где вы его рассказываете. Например, если вы выполняете свое задание с использованием local[*], который работает локально, драйвер инициализируется локально на вашем компьютере. Если вы запускаете искру в «режиме клиента» в диспетчере ресурсов Standalone по умолчанию, он запускает драйвер из местоположения, отправляющего задание. Если вы используете «режим кластера», драйвер будет отправлен на один из узлов Worker в кластере.

Мастер - это автономный процесс, который отвечает за управление кластером. Он знает, с какими рабочими он управляет, и его задача - предоставить вам достаточные ресурсы для запуска вашего драйвера, чтобы вы могли использовать кластер.

Когда вы используете DStream.print, данные будут отправляться в зависимости от того, где находится ваш драйвер. Если вы запустили свой драйвер с компьютера, который также является машиной, на которой запущен мастер-процесс, то это машина, которая будет получать данные и печатать выходные данные.

Answer 2

Мастер - менеджер ресурсов. Он не участвует непосредственно в обработке данных, и он не является частью приложения.

print выполнен на драйвере, который является точкой входа приложения.