3
один исполнитель работает гораздо дольше, чем все остальные в искре потоковых задач
Я интегрируя искру залитым Кафки, в одном из этапов, один исполнитель работает гораздо медленнее, чем другие ..
вы можете найти на картинке, h10.zw работает 2,6 минуты, а «время задачи» - 52 минуты, что намного больше, чем у других исполнителей. Но размер записи в формате shuffle size/shuffle такой же, как и у других.
Интересно, что такое «время задачи»? Что делает исполнитель h10.zw? Как сбалансировать время работы всех исполнителей во избежание перекоса во времени?
Вы можете проверить местонахождение данных об этом исполнителе? Есть ли приемники, зарегистрированные в этом исполнителе? – maasg
Всегда ли это тот же узел? Затем вы можете просто удалить узел из кластера, или, как минимум, вы можете включить спекуляцию, чтобы это замедление автоматически попадало и направлялось на новый узел. –