В Test IT используется следующая формула подсчета стабильности тестов:
100% - M/N * 100%
Где N - число всех переходов между статусами автотеста (100 последних прохождений или все, если их меньше 100)
M - число переходов между статусами автотеста, в которые статус изменился
Примеры:
- No result - "-"
- Passed - "100%"
- Passed Passed - "100%" (0/1), где 0 = M, 1 = N
- Passed Failed - "0%" (1/1)
- Passed Failed Passed - "0%" (2/2)
- Passed Failed Passed Failed - "0%" (3/3)
- Passed Failed Passed Failed Failed - "25%" (3/4)
Формула учитывает переходы между статусами, а не просто процент успешных прогонов. Даже если из 10 прогонов только 1 неуспешный, важна последовательность изменений статусов. Если тест переходил из "Успешен" в "Провален" и обратно, это два изменения статуса M="2" при N="9" переходах (так как первый результат не учитывается). Тогда стабильность: 100 - (2/9) * 100 = 78%
Количество последних прогонов - это параметр, который регулирует выборку, на основе которой анализируются результаты автотестов. Условно автотест был запущен 1000 раз, но здесь указано число 100, а значит предыдущие 900 не будут ни на что влиять, а будут влиять только последние 100. Отсюда как раз берется число N из формулы (N - это "Количество последних прогонов минус один")
Процент стабильности теста - это пороговое значение. Если после расчетов по формуле автотест получается процент стабильности ниже, чем указан здесь, то автотест получит метку, что он "Нестабильный". А если выше - "Стабильный".
