Есть ли способ сделать огурец попробовать сценарий еще раз, прежде чем переходить к следующему сценарию

Question

Я пытаюсь очистить наш функциональный пакет на работе, и мне было интересно, есть ли способ, чтобы огурец повторил сценарий и посмотрел, если проходит, прежде чем перейти к следующему сценарию в этой функции? Phantom - это мой безголовый браузер для веб-браузера poltergeist - мой водитель.

В основном наша сборка продолжает сбой, потому что коробка становится перегруженной всем тестом, и во время сценария на странице не будет достаточно времени, чтобы отобразить все, что мы пытаемся проверить. Следовательно, это приводит к ложному срабатыванию. Я не знаю, как ожидать, какой тест повесит сборку.

Было бы неплохо иметь крючок (одну идею), которая возникает после каждого сценария. Если сценарий проходит, тогда распечатывайте результаты для этого сценария и продолжайте движение. Однако, если сценарий не работает, попробуйте запустить его снова, чтобы убедиться, что у него нет головокружения. Затем и только тогда вы распечатываете результаты для этого сценария и переходите к следующему тесту.

Есть ли у кого-нибудь идеи о том, как реализовать это?

Я думаю, что-то вроде

After do |scenario| 
    if scenario.failed? 
     result = scenario.run_again # I just made this function up I know for a fact this doesn't actually exist (see http://cukes.info/api/cucumber/ruby/yardoc/Cucumber/Ast/Scenario.html) 
     if !result 
      Cucumber.wants_to_quit = true 
     end 
    end 
end 

Первоначальное решение я увидел это: How to rerun the failed scenarios using Cucumber?

Это было бы хорошо, но мне нужно было, чтобы убедиться, что

cucumber @rerun.txt 

действительно исправил отчеты, если тест прошел. Как

cucumber @rerun.txt --format junit --out foo.xml 

Где foo.xml является отчет JUnit, который изначально сказал, что функция 1, 2 & 5 проходили в то время как 3 и 4 потерпели неудачу, но теперь будет говорить 1, 2, 3, 4 & 5, проходящей хотя rerun.txt только сказал, чтобы повторить 3 и 4.

Answer 1

Я использую повторную экстенсивно, и да, он выводит правильные функции в файл rerun.txt. У меня есть файл cucumber.yml, который определяет кучу «профилей». Обратите внимание на профиль повторного запуска:

<% 
rerun = File.file?('rerun.txt') ? IO.read('rerun.txt') : "" 
rerun_opts = rerun.to_s.strip.empty? ? "--format #{ENV['CUCUMBER_FORMAT'] || 'progress'} features" : "--format #{ENV['CUCUMBER_FORMAT'] || 'pretty'} #{rerun}" 
%> 

<% standart_opts = "--format html --out report.html --format rerun --out rerun.txt --no-source --format pretty --require features --tags ~@wip" %> 
default: <%= standart_opts %> --no-source --format pretty --require features 


rerun: <%= rerun_opts %> --format junit --out junit_format_rerun --format html --out rerun.html --format rerun --out rerun.txt --no-source --require features 

core: <%= standart_opts %> --tags @core 
jenkins: <%= standart_opts %> --tags @jenkins 

Так что здесь происходит, что я запускаю огурец. Во время первого запуска он выкинет все неудавшиеся сценарии в файл rerun.txt. Затем, после того, как я буду перезапускать только неудавшиеся тесты с помощью следующей команды:

cucumber -p rerun 

Только падение этого является то, что он требует дополнительной команды (которую вы можете автоматизировать, конечно) и что он загромождает если они есть на месте.