4
Неудачные задачи автоматически повторно отправлены в Apache Spark тому же или другому исполнителю?Неудачные задачи, которые были повторно отправлены в Apache Spark?
A
ответ
5
Я считаю, что неудавшиеся задачи повторно отправлены, потому что я видел одну и ту же неудачную задачу, представленную несколько раз в веб-интерфейсе. Однако, если же задача не несколько раз, полная работа не в состоянии:
org.apache.spark.SparkException: Job aborted due to stage failure: Task 120 in stage 91.0 failed 4 times, most recent failure: Lost task 120.3 in stage 91.0
2
Да, но есть набор параметров для максимального числа отказов
spark.task.maxFailures 4 Number of individual task failures before giving up on the job. Should be greater than or equal to 1. Number of allowed retries = this value - 1.
Смежные вопросы
- 1. Мониторинг задачи в Apache Spark
- 2. PHP Только отображаемые поля, которые были отправлены
- 3. Сериализация объектов, которые были отправлены через SOAP
- 4. Неудачные задачи в ржавчине
- 5. does Executors.newSingleThreadExecutor() всегда выдает задачи, чтобы они были отправлены?
- 6. Передаваемые переменные Apache Spark не используются повторно
- 7. Как запомнить данные формы, которые не были отправлены?
- 8. Как структурировать/управлять данными, которые были отправлены формой?
- 9. Список всех сообщений, которые были отправлены с сервера
- 10. Сообщение тоста, чтобы указать номера, которые были отправлены сообщениям
- 11. Повторно запустить неудачные тесты Nelit Selenium
- 12. Как получить неудачные задачи в сельдерей?
- 13. Ошибка сбоя Apache Spark
- 14. Задачи, длительные с течением времени в Apache Spark
- 15. Добавление SQL Azure Коды ошибок, которые были повторно приняты
- 16. Сообщения ActiveMQ, которые были добавлены повторно (PooledConnectionFactory misconfig подозреваемый)
- 17. Проверьте, были ли отправлены $ _FILES или $ _POST.
- 18. Многоступенчатые рабочие разрешены в Apache Spark?
- 19. Spark Streaming потоки приложений, которые уже были переданы потоком
- 20. Как я могу завершить задачи, которые были рассчитаны на многопоточность?
- 21. Как планировщик Apache Spark разбивает файлы на задачи?
- 22. Как выполнить ANT-задачи только для файлов, которые были изменены
- 23. Как бы вытащить данные из базы данных и перепроверить флажки, которые были первоначально проверены и отправлены?
- 24. Apache Spark: рабочие подключены и освобождены, но не принимают задачи
- 25. Как регистрировать сообщения, которые не были подтверждены в Apache Storm
- 26. Функция lookup() в Apache Spark
- 27. Какие задачи были назначены мне?
- 28. Время десериализации задачи Spark
- 29. Авторизация в Apache Spark
- 30. Apache Spark в
невыполненных заданий в искре пересчитываются, или если у вас есть чек, указывающий, что они пересчитаны с контрольной точки, [бумага] (https://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf) более подробно – aaronman