Профилирование кода Scala для Spark

Question

Я новичок в программировании Scala и большого набора данных. Мне нужно использовать профилировщик в локальной среде, чтобы проверить, какая операция/функция слишком медленная в моем коде Scala, я попробовал интерфейс Spark как в локальном узле, так и в кластерной среде, но этого недостаточно. Проблема в том, что мой код - это скрипт Scala, или лучше всего это только последовательность строк кода, выполняемых непосредственно в искровой оболочке.

Все распространенные профилировщики требуют хорошо структурированного кода Scala для создания файла jar и запуска файла jar для присоединения агента профилирования. Я не знаю, где искать. Есть идеи? Возможно ли это или нет?

Answer 1

Вы можете подключить профилировщики Java (например, бесплатный jvisualvm, который поставляется вместе с JDK) для любой запущенной JVM. Я не пробовал, но считаю, что вы должны иметь возможность профилировать код, который запускается Spark.

Конечно, вам нужно подключиться к правой JVM, где выполняется код. Если он выполнен удаленно, это не поможет подключиться к локальной JVM, запускающей вашу оболочку Spark.

Вы также должны убедиться, что профиль в нужный момент.