Возврат Livy до завершения вычисления

Question

Работа с Livy на песочнице Hortonworks мы обнаружили, что в некоторых случаях API Livy дает результат для инструкции до окончания фактической работы, как указано инструментом мониторинга Spark. В некоторых случаях Livy дает результат всего за 5 секунд для работы с обычным временем выполнения более 10 минут. Если мы повторяем одну и ту же задачу с одинаковыми начальными условиями несколько раз в некоторых случаях, мы видели, что эта проблема происходит. Есть идеи?

Answer 1

Просто проверьте, используете ли вы один сеанс Livy для нескольких заданий или нет. Если используется тот же сеанс, то промежуточный Spark DataSet получает кеширование, и результаты получаются быстрее.