Легкий способ запуска одного и того же теста юнита снова и снова?

Question

Как и в названии, я ищу простой способ запускать тесты JUnit 4.x несколько раз подряд, используя Eclipse.

Пример будет проходить один и тот же тест 10 раз подряд и сообщать результат.

У нас уже есть сложный способ сделать это, но я ищу простой способ сделать это, чтобы я мог быть уверен в том, что проверенный мной фиктивный тест, который я пытался исправить, остается фиксированным.

Идеальное решение - это плагин/настройка/функция Eclipse, о которых я не знаю.

Answer 1

Проще всего (как минимум в t нового кода), чтобы сделать это, запустить тест в качестве параметризованного теста (аннотировать с @RunWith(Parameterized.class) и добавить метод для предоставления 10 пустых параметров). Таким образом, среда будет проходить тест 10 раз.

Этот тест должен быть единственным тестом в классе или лучше всего использовать все методы тестирования, которые должны выполняться 10 раз в классе.

Вот пример:

@RunWith(Parameterized.class) 
public class RunTenTimes { 

    @Parameterized.Parameters 
    public static Object[][] data() { 
     return new Object[10][0]; 
    } 

    public RunTenTimes() { 
    } 

    @Test 
    public void runsTenTimes() { 
     System.out.println("run"); 
    } 
} 

С выше, можно даже сделать это с помощью конструктора параметров меньше, но я не уверен, что если каркасные авторы Подразумевается, что, или, если будет ломаться в будущем.

Если вы внедряете свой собственный бегун, то вы можете провести тест 10 раз подряд. Если вы используете сторонний бегун, то с 4.7 вы можете использовать новую аннотацию @Rule и реализовать интерфейс MethodRule, чтобы он принял оператор и выполнил его 10 раз в цикле for. Нынешним недостатком такого подхода является то, что @Before и @After запускаются только один раз. Вероятно, это изменится в следующей версии JUnit (@Before будет работать после @Rule), но независимо от того, будете ли вы действовать на одном экземпляре объекта (что не соответствует бегуну Parameterized). Это предполагает, что любой бегун, которым вы управляете классом, правильно распознает аннотации @Rule. Это только в случае, если он делегирует бегунов JUnit.

Если вы работаете с пользовательским бегуном, который не распознает аннотацию @Rule, то вы действительно застряли в том, что вам нужно написать свой собственный бегун, который соответствующим образом делегирует этому Runner и запускает его 10 раз.

Обратите внимание, что есть другие способы потенциально решить эту проблему (например, бегун Теория), но для всех них требуется бегун. К сожалению, JUnit в настоящее время не поддерживает слои бегунов. Это бегун, который соединяет других бегунов.

Answer 2

Я обнаружил, что повторение аннотация Spring является полезной для такого рода вещь:

@Repeat(value = 10) 

Последние (Spring Framework 4.3.11.RELEASE API) документ:

• org.springframework.test.annotation
• Unit Testing in Spring

Answer 3

Что-нибудь случилось с:

@Test 
void itWorks() { 
    // stuff 
} 

@Test 
void itWorksRepeatably() { 
    for (int i = 0; i < 10; i++) { 
     itWorks(); 
    } 
} 

В отличие от случая, когда вы проверяете каждого из массива значений, вы не особенно волнует, которые работают не удалось.

Не нужно делать в настройках или аннотации, что вы можете делать в коде.

Answer 4

Там в перемежающихся аннотациях в tempus-fugit библиотеке, которая работает с JUnit 4,7-х @Rule повторить тест, несколько раз или с @RunWith.

Например,

@RunWith(IntermittentTestRunner.class) 
public class IntermittentTestRunnerTest { 

    private static int testCounter = 0; 

    @Test 
    @Intermittent(repition = 99) 
    public void annotatedTest() { 
     testCounter++; 
    } 
} 

После выполнения теста (с IntermittentTestRunner в @RunWith), testCounter будет равна 99.

Answer 5

Это работает намного проще для меня.

public class RepeatTests extends TestCase { 

    public static Test suite() { 
     TestSuite suite = new TestSuite(RepeatTests.class.getName()); 

     for (int i = 0; i < 10; i++) {    
     suite.addTestSuite(YourTest.class);    
     } 

     return suite; 
    } 
} 

Answer 6

Вдохновленный на this solution:

Используйте @Repeat аннотацию, как это:

public class MyTestClass { 

    @Rule 
    public RepeatRule repeatRule = new RepeatRule(); 

    @Test 
    @Repeat(10) 
    public void testMyCode() { 
     //your test code goes here 
    } 
} 

Вам нужно только эти два класса:

Repeat.java:

import static java.lang.annotation.ElementType.ANNOTATION_TYPE; 
import static java.lang.annotation.ElementType.METHOD; 
import java.lang.annotation.Retention; 
import java.lang.annotation.RetentionPolicy; 
import java.lang.annotation.Target; 

@Retention(RetentionPolicy.RUNTIME) 
@Target({ METHOD, ANNOTATION_TYPE }) 
public @interface Repeat { 
    int value() default 1; 
} 

RepeatRule.java:

import org.junit.rules.TestRule; 
import org.junit.runner.Description; 
import org.junit.runners.model.Statement; 

public class RepeatRule implements TestRule { 

    private static class RepeatStatement extends Statement { 
     private final Statement statement; 
     private final int repeat;  

     public RepeatStatement(Statement statement, int repeat) { 
      this.statement = statement; 
      this.repeat = repeat; 
     } 

     @Override 
     public void evaluate() throws Throwable { 
      for (int i = 0; i < repeat; i++) { 
       statement.evaluate(); 
      } 
     } 

    } 

    @Override 
    public Statement apply(Statement statement, Description description) { 
     Statement result = statement; 
     Repeat repeat = description.getAnnotation(Repeat.class); 
     if (repeat != null) { 
      int times = repeat.value(); 
      result = new RepeatStatement(statement, times); 
     } 
     return result; 
    } 
} 

2016-10-25 Редактировать: Для того чтобы использовать это решение при использовании @RunWith(PowerMockRunner.class), обновления для Powermock 1.6.5 (который включает в себя this patch).

Answer 7

Я строю модуль, который позволяет выполнять такие тесты. Но он фокусируется не только на повторении. Но в гарантии, что какой-то фрагмент кода является потокобезопасным.

https://github.com/anderson-marques/concurrent-testing

Maven зависимостей:

<dependency> 
    <groupId>org.lite</groupId> 
    <artifactId>concurrent-testing</artifactId> 
    <version>1.0.0</version> 
</dependency> 

Пример использования:

package org.lite.concurrent.testing; 

import org.junit.Assert; 
import org.junit.Rule; 
import org.junit.Test; 
import ConcurrentTest; 
import ConcurrentTestsRule; 

/** 
* Concurrent tests examples 
*/ 
public class ExampleTest { 

    /** 
    * Create a new TestRule that will be applied to all tests 
    */ 
    @Rule 
    public ConcurrentTestsRule ct = ConcurrentTestsRule.silentTests(); 

    /** 
    * Tests using 10 threads and make 20 requests. This means until 10 simultaneous requests. 
    */ 
    @Test 
    @ConcurrentTest(requests = 20, threads = 10) 
    public void testConcurrentExecutionSuccess(){ 
     Assert.assertTrue(true); 
    } 

    /** 
    * Tests using 10 threads and make 20 requests. This means until 10 simultaneous requests. 
    */ 
    @Test 
    @ConcurrentTest(requests = 200, threads = 10, timeoutMillis = 100) 
    public void testConcurrentExecutionSuccessWaitOnly100Millissecond(){ 
    } 

    @Test(expected = RuntimeException.class) 
    @ConcurrentTest(requests = 3) 
    public void testConcurrentExecutionFail(){ 
     throw new RuntimeException("Fail"); 
    } 
} 

Это проект с открытым исходным кодом. Не стесняйтесь улучшаться.

Answer 8

С JUnit 5 Я был в состоянии решить эту проблему с помощью @RepeatedTest аннотацию:

@RepeatedTest(10) 
public void testMyCode() { 
    //your test code goes here 
} 

Обратите внимание, что @Test аннотации не следует использовать вместе с @RepeatedTest.

Answer 9

Вы можете запустить тест JUnit из основного метода и повторить столько раз, что вам нужно:

package tests; 

import static org.junit.Assert.*; 

import org.junit.Test; 
import org.junit.runner.Result; 

public class RepeatedTest { 

    @Test 
    public void test() { 
     fail("Not yet implemented"); 
    } 

    public static void main(String args[]) { 

     boolean runForever = true; 

     while (runForever) { 
      Result result = org.junit.runner.JUnitCore.runClasses(RepeatedTest.class); 

      if (result.getFailureCount() > 0) { 
       runForever = false; 
       //Do something with the result object 

      } 
     } 

    } 

} 

Answer 10

С IntelliJ, вы можете сделать это из тестовой конфигурации. Как только вы откроете это окно, вы можете запустить тест сколько угодно раз.

при выполнении теста, IntelliJ выполнит все тесты были выбраны для того, сколько раз вы указали.

Пример запуска 624 тестов в 10 раз: