Почему JUnitCore возвращает только первые результаты?

Question

Я использую JUnit 4 с Eclipse JDT для создания автоматизированного тестирования мутантов.

Вот общий обзор моей структуры кода:

//Basic for loop 
for(int i = 0; i < 10; i++) { 

    //Read in source code from a Java file 
    ...(works) 

    //Change a line using JDT and save code to a new Java file 
    ...(works) 

    //Compile new Java file (this also works) 
    try {  
     Process compile = Runtime.getRuntime().exec("javac -cp \"src/*\" " + path + "*.java"); 
     compile.waitFor(); 
    } catch(IOException ex) { /*...*/ } 
     catch(InterruptedException ex) { /*...*/ } 

    //Run JUnit Tests (this works the first time it is called) 
    JUnitCore core = new JUnitCore(); 
    Result result = core.run(JUnitTest.class); //This class contains my JUnit Tests 
} 

Мой код выше работает для первого теста, но каждый тест после того, что всегда возвращает те же самые результаты. Почему новые результаты не генерируются, даже если сделаны разные мутации?

вещи я попытался:

1. Testing, что различные мутации выполнены на каждой итерации цикла.

2. Проверка того, что новый код скомпилирован до запуска теста.

3. Запуск внутренних элементов цикла for в качестве потока, дождитесь окончания этого потока, затем выполните следующий тест.

4. Использование JUnitCore.runClasses (JUnitTest.class) вместо создания экземпляра ядра и вызова core.run (JUnitTest.class):

   JUnitCore core = new JUnitCore(); 
   Result result = core.run(JUnitTest.class); 
   

5. Подставив JUnitCore (Org. JUnit) код для TestRunner (junit.textui), который дал мне ту же самую проблему:

   TestSuite suite= new TestSuite(); 
   suite.addTestSuite(JUnitTest.class); 
   TestResult result = TestRunner.run(suite); 
   

Answer 1

Вам нужно вставить мутанта в JVM - хотя вы компилируете измененный файл, JVM увидит только первую загруженную версию.

Существует множество способов сделать это, начиная с запуска новой JVM для каждого мутанта до использования API-интерфейса инструментария.

Answer 2

Почему вы используете цикл от = 0 к я = 10, и при использовании этого цикла, чем когда вы используете значение я внутри кода. Я думаю, что это не использует значение i, в результате чего вы получаете одинаковый результат каждый раз.