-
Time
-
Deadline
- для тестирования
- для итерации
- для релиза
- важные даты по проекту
- Продукт перестал поддерживаться
- Сроки известны, согласованы, прописаны в тест-плане
- Budget
-
Выполнены все запланированные работы по тестированию
- Достигнуты все поставленные цели
-
Достигнут требуемый уровень тестового покрытия
- Для нового функционала
- Для регресса
-
Основные сценарии работают стабильно
- Успешно пройдены все критически важные тест-кейсы
-
Все кейсы пройдены
- Все кейсы основных сценариев пройдены
- Учтены ли все взаимосвязи?
-
Ошибки
-
Нет ошибок с высоким приоритетом и критичностью
- Исправлены
- Перепроверены
-
Ошибки с низким приоритетом и критичностью
-
согласованы всей командой и менеджерами
- Приняты по ним окончательные решения
- не влияют на основные пользовательские сценарии или их влияние минимально
- MTBF (Mean Time Between Failure) - минимальное время между сбоями системы соответствует ожидаемому
- Скорость обнаружения дефектов ниже установленного значения
- Мы перестаем находить ошибки
- Учтены все риски
- Вся необходимая информация о тестировании задокументирована
-
Используем метрики
-
Для тест-кейсов
- % выполненных тест кейсов соответствует ожидаемому
- % успешных выполненных тест-кейсов соответствует ожидаемому
-
% неуспешных тест-кейсов соответствует ожидаемому
- тест-кейсы относятся не к базовым сценариям
-
достигнут требуемый уровень тестового покрытия
- может быть рассчитан при использовании техник тест-дизайна
-
Для ошибок
- Плотность / кол-во найденных дефектов соответствует ожидаемому
-
по автотестам
- все автотесты пройдены успешно
- % успешно пройденных тест-кейсов соответствует ожидаемому
-
Технические проблемы
- Проблемы с сервером, сетью, и другие форс-мажорные обстоятельства
-
Краш продукта
- слишком много критических и блокирующих багов
-
Личные особенности
-
Что нам говорит наша интуиция
- Нет ли внутреннего ощущения незавершенности
- Не осталось ли каких-либо вопросов, неопределенностей
- Не знаю, что делать дальше
-
Внешние события
- Изменились требования
- Тестирование отменено менеджерами
- Изменены сроки релиза
- Функционал стал неактуальным
- Изменен приоритет задач
-
Что мы помним
-
Результат тестирования
- Успешный
- Неуспешный
- Требуется продолжение работ
- Наш девиз: никогда не пренебрегаем качеством
-
Тестирование никогда не бывает полным
- Принцип: исчерпывающее тестирование невозможно
- Чем дольше мы тестируем, тем больше багов мы находим
- Любой продукт содержит неограниченное число багов
- Мы не можем гарантировать, что продукт не содержит ошибок
- Все используемые пороговые значения, используемых метрик и сами метрики, используемые модели должны быть согласованы с командой, менеджерами
- Закон Паркинсона
-
Полезные ссылки
-
Michael Bolton
- http://www.developsense.com/blog/2009/09/when-do-we-stop-test/
-
The Art of Software Testing
- https://www.amazon.com/dp/0471043281/?tag=stackoverflow17-20
-
Хабр: о надежности систем
- https://habrahabr.ru/post/326506/
-
Simon Knight
- https://blog.gurock.com/when-do-i-stop-testing/
-
Yegor Bugayenko
-
The Formula for Software Quality
- http://www.yegor256.com/2017/12/26/software-quality-formula.html
-
Any Program Has an Unlimited Number of Bugs
- http://www.yegor256.com/2017/05/23/unlimited-number-of-bugs.html
-
http://www.softwaretestinghelp.com Renuka K.
- http://www.softwaretestinghelp.com/when-to-stop-testing-exit-criteria-in-software-testing/