Задание исполнителя/задание задания

Question

вот моя вкладка исполнителя искровых заданий на искровом пользовательском интерфейсе, не знаете, почему так много задач у одного исполнителя, может кто-нибудь объяснить, пожалуйста.

Кроме того, на рисунке почему так много различий в количестве созданных задач 17/17,20/20 и т.д., можно использовать правильное количество ядер, если я знаю, сколько такое же количество задач создаются Пожалуйста, советы

Answer 1

Я предполагаю, потому что Искра реализовать 1 из ваших узлов ближе, чем другие, так что ближайший исполнитель будет делать все дела.

Так что вы попытаетесь увеличить spark.locality.wait до 10 или 15, потому что по умолчанию 3s. Но нужно подтвердить, посмотрите что-нибудь подобное?

Но это не лучший способ сделать. Вам нужно переместить свой источник данных ближе к вашему исполнителю, потому что стоимость сетевой передачи стоит дорого.

Ref: http://spark.apache.org/docs/latest/configuration.html#scheduling