Простой тест производительности, разные результаты

Question

Я сделал тест производительности коллекции, но каждый раз, когда я начинаю тест, у меня разные результаты. Почему это происходит и что я могу сделать для получения правильных результатов? Я думаю, моя проблема с опцией VM.

public class PerformanceTest { 
private static void addToTheBeginTest() { 
    String nameOfMethod = "Method add 250_000 result: "; 

    List<Integer> arrayList = new ArrayList<>(); 
    StopWatch.start(); 
    for (int i = 0; i < 250_000; i++) { 
     arrayList.add(0, 1); 
    } 
    long resultAL = StopWatch.getElapsedTime(); 

    outputInFile(nameOfMethod, resultAL); 
} 

private static void outputInFile(String nameOfMethod, long resultAl) { 
    File outputFile = new File("D:\\Idea Project\\ExperimentalProject\\src\\SimplePerformance\\"); 
    outputFile.mkdir(); 
    try (FileWriter writer = new FileWriter("D:\\Idea Project\\ExperimentalProject\\src\\SimplePerformance\\SimplePerformanceTest.txt", true)) { 
     writer.write(nameOfMethod); 
     writer.write(String.valueOf(resultAl) + " mc \n"); 
    } catch (IOException e) { 
     System.out.println(e.getMessage()); 
    } 
} 

class StopWatch { 
private static long result; 

public static void start() { 
    result = System.currentTimeMillis(); 
} 

public static long getElapsedTime() { 
    return System.currentTimeMillis() - result; 
    } 
} 

Результаты 3 раза

Answer 1

Причины этого уже объяснены другими ответами.

Самый простой способ справиться с этим - запустить каждый тест x1000 и принять среднее значение. Вы должны найти результаты более согласованными.

Answer 2

JVMs делать оптимизации под капотом, тем больше времени конкретный код запускается. Вы должны изучить маркировку на микро-стенде. Есть целая куча вещей, которые нужно сделать, чтобы получить точные результаты.

Answer 3

Точное количество ресурсов, доступных перед запуском кода, продолжает меняться каждый раз. Невозможно сохранить его на обычных компьютерах.