2012-01-11 3 views
1

В настоящее время у нас есть ситуация, когда несколько тестов терпят неудачу. Кто-то работает над этим, но это не я. Мне поручили другую работу. Поэтому я планирую запустить тесты в NUnit до того, как начну свою работу, поэтому у меня есть базовая строка неудачных тестов и что такое сообщение об ошибке. Я хотел бы использовать этот результат для проверки того, что эти тесты терпят неудачу с тем же результатом сбоя при тестировании моего собственного кода. есть ли какие-то ресурсы, которые позволили бы мне это сделать?Как вы сравниваете результаты двух тестов nunit?

обновление

Я знаю атрибута ExpectedException. Однако это не сработает для тестов, которые не соответствуют условиям тестирования. Также есть тысячи тестов, из которых только около 100 тестов терпят неудачу. Я надеялся на то, что сравнило бы два тестовых прогона и продемонстрировало бы различия.

+0

Подобные ситуации являются причиной результата теста XFAIL, указанного в DejaGNU и других тестовых средах. Если NUnit поддерживает его, измените ожидаемый результат всех неудачных тестов на завершение. – thiton

+0

Лично мне интересно, как 100 тестов могут закончиться так быстро. Надеемся, что проверок являются частыми и малыми по охвату, поэтому возможное количество сломанных тестов будет небольшим. На данный момент это действительно не помогает, но это нужно учитывать в будущем. – Pedro

+0

Они являются интеграционными тестами и занимают около 3 часов. Они не управляются CI при регистрации. Также есть еще один проект, который выполняет библиотеку для этого. Он хранится как двоичный файл в этом проектеd и только перемещается, как только этот проект проверен на работу. Я собираюсь угадать, что кто-то испортил и случайно проверил в двоичном формате. В настоящее время у нас нет команды QA, и разработчики сами справляются с этой задачей. В общем, я бы сказал, что мы отлично справляемся. FYI: 100 тестов составляют только ~ 2% от общего количества тестов, которые у нас есть –

ответ

0

После некоторого исследования, ожидая ответа. Я обнаружил, что консоль runner создает xml-выход. Я могу использовать инструмент diff для сравнения двух тестовых прогонов и посмотреть, какие тесты провалились иначе, чем базовый тестовый прогон.

0

Я брошу атрибут

[Ignore("SomeCustomStringICanFindLater")] 

на неисправном тестах, пока они не будут устранены.

См. IgnoreAttribute.

И попытайтесь убедить своего менеджера, что сломанная сборка должна быть главным приоритетом каждого.

+0

сломанная сборка является главным приоритетом, я заявил в своем вопросе, что кто-то, фактически два человека, уже смотрит на эти тесты. Я пытался избежать модификации тестов. –

Смежные вопросы