Реклама:

Применение основных понятий теории надежности для оценки качества сложных КП позволяет получить ряд четких хорошо измеряемых интегральных показателей качества тестирования программ. Приведённые критерии используются в основном при испытаниях КП и на завершающих фазах комплексной отладки. Их практически невозможно использовать для оценки качества тестирования программных модулей или групп программ, решающих-частные функциональные задачи.

Процесс тестирования происходит во времени, и его динамические характеристики могут служить частными конструктивными критериями для оценки качества тестирования, В § 1.2 представлена интенсивность обнаружения ошибок, или число ошибок, выявляемых в программах в процессе'тестирования за единицу времени при-постоянных усилиях на его проведение. В этом критерии качества тестирования отражаются ошибки, приводящие к нарушению работоспособности программ, и ошибки, искажающие результаты, но не влияющие на надежность функционирования программ. В этом случае для интенсивности тестирования характерна положительная обратная связь — чем больше выявляется ошибок в программе на некотором интервале времени, тем шире должно быть варьирование тестовых данных и больше тестов/По мере устранения ошибок в программе частость их обнаружения снижается и специалисты, осуществляющие тестирование, попадают в область низкого темпа обнаружения ошибок.

Если интенсивное тестирование программы в течение достаточно длительного времени не приводит к обнаружению ошибок, то у специалистов, ведущих тестирование, создается ощущение бесполезности дальнейшего тестирования данной программы и она передается на комплексирование или на экс-плуатациЮ.Экспериментальное исследование характеристик обнаружения ошибок в сложных КП'Ш, 50, 98] позволило оценить темп обнаружения ошибок, при котором комплексы Пере-* даются на регулярную эксплуатацию ((2—5)-Ю-а ошибок в день на человека). Интенсивность обнаружения,ошибок ниже

1 • 10_в ошибок в день на человека, т. е. меньше одной ошибки в год на трех специалистов, непосредственно участвующих в тестировании, по-видимому, может служить эталоном высокого качества тестирования для.КП обработки информации и управления. Следует подчеркнуть, что при использовании этого критерия обычно учитывается календарное время отладки, включающее длительность непосредственного тестирования как для обнаружения, так и для локализации ошибок, а также длительность.корректировки программ и других вспомогательных работ. Таким образом, при постоянных усилиях на тестирование программ, интенсивность обнаружения ошибок можно использовать как критерий качества тестирования. Необходимо учитывать, что обычно по мере снижения темпа обнаружения ошибок уменьшается интенсивность тестирования, что не способствует улучшению качества программ и ускоряет достижение порогового значения нечувствительности к ошибкам. * .

Наработка на отказ учитывает ситуации потери работоспособности,, когда длительность восстановления велика и превышает Допустимое значение времени, разделяющее события сбоя и отказа [36]. При этом большое значение имеют средства оперативного контроля и восстановления (рестарта). Качество проведенного тестирования более полно отражается длительностью между потерями работоспособности программ — наработкой на ог казовую ситуацию, независимо от того, насколько быстро произошло восстановление. Средства оперативного контроля и восстановления не влияют на наработку на отказовую ситуацию, однако могут значительно улучшить показатели надежности программ. Поэтому при оценке необходого тестирования целесообразно измерять и контролировать наработку иа отказовую ситуацию, а объем и длительность тестирования в ряде случаев устанавливать по наработке -на отказ, с учетом эффективности средств рестарта.


⇐ Предыдущая страница| |Следующая страница ⇒