Неисправность выполнения задач Spark Streaming

Question

Когда я смотрю на вкладку «Рабочие места» на искровом пользовательском интерфейсе, я могу видеть состояние «Задачи» как 20/20/(4 не удалось).

Означает ли это потерю данных при неудачных задачах? Разве эти неудачные задачи не переместились в диспетчер diff?

Answer 1

Хотя вы должны быть осторожны в провале задания (они часто является индикатором основного вопроса памяти), вам не нужно беспокоиться о потере данных. Этапы были отмечены как успешно завершенные, поэтому выполняемые задачи фактически (в конечном итоге) были успешно обработаны.