Стратегии тестирования QA для аналитических панелей мониторинга

Question

Моя команда создает аналитическую панель для приложения SaaS/multi-tenant с использованием Cognos. Проблема, с которой я сталкиваюсь, - это правильная стратегия тестирования.

Прямо сейчас, тестируя один отчет с фильтрами даты начала и окончания (в формате месяца/года), одномерным фильтром и двумя элементами управления для выбора меры (имеется 7 мер, которые могут быть представлены как суммы или различные значения).

Кроме того, пользователи могут просверлить точки в полученном отчете до подробных транзакционных данных.

Неясно, что отчеты для одного арендатора не отображают данные для другого арендатора.

Итак, вот в чем проблема. Тестирование этого простого отчета занимает две недели, включая сотни тестов для огромного набора комбинаций фильтров и мер. Мне кажется грубым излишеством.

Есть ли «стратегия», которая может быть использована для надежного сокращения пространства поиска и избежания чрезмерно повторяющегося тестирования?

Answer 1

Хороший вопрос! Когда мы обычно публикуем (или хотим) новые отчеты в Tableau, которые попадают в наш куб SSAS, мы обычно просим определенную группу людей выступать в качестве группы суперпользователей, чтобы использовать отчет так, как если бы он был на производстве. Хотя это может не потребовать определенного периода времени, скажем, у вас есть только 2 дня, чтобы проверить это, но будет продолжаться в течение нескольких недель. Тем временем исправления или изменения ошибок могут быть сделаны и перераспределены в эту же группу без необходимости тратить время на остановку тестеров, заставить их ждать исправления и продолжить.

Не поймите меня неправильно, поскольку дата начала срока службы по-прежнему идеальна, но фактическое представление отчета в рамках небольшой группы часто помогает перемещать вещи быстрее, чем проходить через каждый тестовый пример.

Answer 2

Похоже, что они пытаются проверить «любую возможную комбинацию», в которой может использоваться отчет. Возможно, было бы разумно сделать это для нескольких избранных отчетов, которые лучше всего представляют типичные или критические отчеты. Это поможет устранить серьезные недостатки в дизайне, архитектуре или реализации.

Но попытка проверить каждую возможную комбинацию для каждого отчета в надежде найти каждую ошибку невозможно. Предложение Адждама имеет смысл и характерно для «компромиссов». Это все о времени, ресурсах и о том, что имеет наибольшее значение для ситуации.

Поэтому я бы предложил гибрид двух (выберите небольшую часть отчетов, чтобы провести обширное тестирование, но убедитесь, что они сосредоточены на поиске ошибок, которые, вероятно, будут использоваться другими отчетами). Затем проверяйте каждый отдельный отчет с помощью такой техники, как ajdams.

Answer 3

Что действительно поможет вашему тестированию наверстать упущенное на скорости и надежности, было бы фактически подготовить тестовые сценарии, которые содержат требуемые функциональные возможности отчетов. Как было предложено ранее, бета-группа пользователей поможет вам наверстать упущенную ошибку и разработать недостатки во время бета-тестирования.