Интересное изменение производительности в бенчмаркинге Код искры

Question

Я подсчитываю, сколько времени потребуется для завершения конкретной работы на Spark, в этом случае, сколько времени требуется, чтобы сохранить выходной RDD. Сохранение RDD связано с его сжатием.

Что странно, так это то, что первое выполнение кода всегда медленнее по сравнению со вторым выполнением точно такой же части кода. Как это может быть?

Программа Спарк выглядит следующим образом:

JavaPairRDD<String, String> semisorted = wordsAndChar.sortByKey(); 

//First run 
long startTime1 = System.currentTimeMillis(); 
semisorted.saveAsTextFile("testData.txt" + "_output1", org.apache.hadoop.io.compress.DefaultCodec.class); 
long runTime1 = System.currentTimeMillis() - startTime1; 

//Second run 
long startTime2 = System.currentTimeMillis(); 
semisorted.saveAsTextFile("testData.txt" + "_output2", org.apache.hadoop.io.compress.DefaultCodec.class); 
long runTime2 = System.currentTimeMillis() - startTime2; 

sc.stop(); 

искровым представить --master местный [1] --class com.john.Test my.jar /пользователь/джон/Testdata. TXT/пользователь/John/testData_output

выход:

runTime1 = 126 сек

runTime2 = 82 сек

Как такое большое изменение может быть два (точно такие же) работу?

Answer 1

Эти две работы не совпадают. Любая операция в случайном порядке, включая sortByKey, создает файлы в случайном порядке, которые служат неявной точкой кеширования.

• Когда вы выполняете первое задание, он выполняет полную перетасовку и все предыдущие операции.

• Когда вы выполняете второе задание, он может читать файлы в случайном порядке и выполнять только последний этап.

Вы должны увидеть skipped stages in the Spark UI, которые соответствуют этому поведению.

Существует также другой источник изменений, который может внести свой вклад, но его воздействие должно быть меньше. Многие объекты, связанные с контекстом в Spark, инициализируются лениво. Они будут инициализированы во время первой работы.

В общем, если вы хотите, чтобы контролировать работу, вы можете использовать:

• Спарк интерфейс для ручного досмотра.
• Spark REST API (/applications/[app-id]/stages/[stage-id] особенно полезен) или TaskListener для получения детальной статистики.

Вы также должны:

• Выполните несколько прогонов и настроить результат для коррекции процесса инициализации.
• unpersist объекты, если требуется.
• Избегайте возможных путаниц (например, несколько заданий, выполняемых одним и тем же приложением, не являются независимыми и могут быть затронуты рядом факторов, таких как выселение кеша или GC).