Ищет «программное обеспечение для контроля выполнения» для управления автоматическими тестами

Question

Мы разрабатываем несколько продуктов и уже имеем обширные модульные тесты и полностью автоматизированные функциональные тесты для них. Проблема в том, что эти тесты не выполняются часто, просто вручную разработчиком или перед отправкой новой версии.

Я ищу программное обеспечение «тест менеджер исполнения», который позволит:

• определения тестовых наборов как совокупность моих существующих тестов;
• Выполнение тестовых комплектов на нескольких машинах в нашей тестовой лаборатории;
• результаты сбора и с изображением их красиво;
• сохранить тест историю выполнения и результаты

Большинство «тестирование решений» Я нашел концентрат на «написание автоматизированных тестов» (которые у нас уже есть рабочие) или тесная интеграция с другими аспектами разработки программного обеспечения, как определение требований и подача ошибок (которые мы имеем и не хотим менять).

• Может ли кто-нибудь порекомендовать простую и гибкую программу для выполнения вышеуказанных задач без форсирования определенных процессов разработки?
• Я, хотя на использовании (или злоупотреблении) Hudson CI для этого. Хадсон уже может запускать тесты, собирать результаты и представлять их, как периодически, так и из-за совершения кода; но он не был предназначен для определения набора тестов. Любые данные от опытных пользователей Hudson по этой идее оцениваются.

Answer 1

Прежде всего нашим разработчикам не разрешается проверять код без проведения модульных тестов. Мы также запускаем CI-сервер (Hudson), который строит после фиксации и запускает модульные тесты. Мы работаем над тем, чтобы выполнять функциональные тесты для ночных сборок.

Вы сказали, что ваши разработчики тестируют программное обеспечение? Это плохо. По крайней мере, пусть разработчик не, знакомый с кодом для проверки вашего приложения, иначе вы, вероятно, заметите некоторые ошибки, потому что их существование было исключено разработчиком, написавшим код. Кроме того, кто пишет функциональные тесты? Разработчики снова? Вы должны получить свой BA, чтобы написать их. Всегда помните, четыре глаза видят больше двух.

Так что после всего, что сказал, я предполагаю, что модульные тесты всегда будут выполняться до того, как код будет проверен в вашем SCM. В первую очередь это касается функциональных тестов.

Простое решение:

• Вы всегда можете создавать скрипты для Bundle тесты (партии или скрипт, который запускает индивидуальный тест).
• Выполнение тестовых комплектов на самом деле одна из целей Хадсон
• Сбор и представление результатов, то есть то, что Хадсон для
• См выше, может быть сделано с Хадсон, не злоупотребляя его.

Хорошее решение:

ли вы смотреть на инструменты, такие как IBM Rational Quality Manager? В зависимости от используемых инструментов тестирования вы можете использовать инструмент управления тестированием, отличный от другого. Oracle также предлагает инструмент для этого. Не ошибайтесь, обычно эти инструменты могут быть довольно дорогими и предлагать вам больше, чем вы хотите использовать. С небольшой помощью от Google вы должны найти то, что соответствует вашим потребностям. Мои ключевые слова были «централизованное управление тестированием».

Если вы используете FitNesse для вашего функционального теста. Вы можете определить апартаменты в FitNesse, и я думаю, что набор может быть частью более крупного пакета. FitNesse определенно хранит исторические данные испытаний. Тест можно запустить из командной строки, что позволяет запускать тесты с ant или maven.

Если вы используете рамки тестовое устройство для функционального тестирования вы можете также запускать их как часть ночной сборки и график его с помощью CI-сервера (Hudson или круиз-контроль или ...)