Выполнение тестов VSTS без mstest.exe

Question

Из-за причин, по которым я не буду входить, все наши модульные тесты используют тестовую инфраструктуру VSTS. Теперь я хочу создать сценарий MSBuild, который запускает тесты, но я не хочу использовать mstest.exe по разным причинам (он медленнее, требуется установка Visual Studio повсюду, мне нужно поддерживать testrunconfig и т. Д.)

Я видел, что TestDriven.net и TeamCity могут запускать «NUnit-стиль» тестов VSTS без использования mstest.exe. Знаете ли вы о какой-либо автономной утилите командной строки, которая делает это?

Answer 1

вы можете выполнять системные команды тесты (MSTest) в NUnit, если вы используете специальный NUnit надстройку, которая распознает Атрибуты MS Test (TestClass, и т.д.).

Программное обеспечение Exact Magic имеет open-source "test-adapter", который может это сделать.

ОБНОВЛЕНИЕ: Я переработал адаптер NUnit для магии Exact Magic для NUnit 2.5.2.

• Скачать здесь: http://snippetware.googlecode.com/files/ExactMagic.MstsAdapter.zip
• Подробнее об этом here: http://www.bryancook.net/2009/10/mstest-nunit-adapter.html

Answer 2

Возможно запустить MSTests без установки Visual Studio. См. how-do-i-use-mstest-without-visual-studio.

Я сделал это, чтобы выполнить свои тесты как часть моего процесса CI. (Я использую CC.NET для своего решения CI).

---

Я нахожусь в подобной ситуации, как вы, в том, что я хочу использовать TestDriven.NET, чтобы получить статистику покрытия кода. Но у меня проблемы. Моя первая проблема заключается в том, что я использую атрибуты AssemblyInitialize для инициализации соединения с базой данных. Это не поддерживается NUnit, поэтому примерно половина моих тестов терпит неудачу, тогда как они работают нормально в MSTest.

Итак, кажется, что перевод тестов из одной тестовой среды в другую имеет подводные камни. Если вы знаете об этом, то идите дальше, но лучше попытаться сохранить последовательность на одной тестовой платформе.

Answer 3

Кажется, что TeamCity просто использует Gallio для запуска VS-тестов. Галлион, как представляется, интеграция MSBuild и звучит отлично, но после того, как пристальный взгляд, кажется, что это потребовало бы VS установить так же, как MSTest, как представляется, зависит от MS EXEs:

The plugin enable condition was not satisfied: '${process:DEVENV.EXE} or 
${process:VSTESTHOST.EXE} or 
${process:QTAGENT.EXE} or 
${process:QTAGENT32.EXE} or 
${process:QTDCAGENT.EXE} or 
${process:QTDCAGENT32.EXE}'. 
Host process exited with code: 0 

Это, как говорится, это звучит, как по крайней мере, один человек получил это работает:

Christoph De Baene - Running MSTest without Visual Studio

Answer 4

Мы проводим VSTS тесты с использованием MSBuild TestToolsTask на сервере круиз-контроль. Это не использует исполняемый файл MSTEST - условие, которое вы запрашиваете, но использует различные зависимости TFS.

Обратите внимание, что мы переносим тесты из тестовой среды VSTS для NUnit, главным образом потому, что мы можем создавать расширения для NUnit для выполнения полезных задач.