8. Тестирование программного обеспечения. Метод черного и белого ящика

Тести́рование програ́ммного обеспе́чения — деятельность, выполняемая для оценки и улучшения качества программного обеспечения. Эта деятельность в общем случае базируется на обнаружении дефектов и проблем в программных системах.

С точки зрения ISO 9126, Качество (программных средств) можно определить как совокупную характеристику исследуемого ПО с учётом следующих составляющих:

1. Надёжность

2. Сопровождаемость

3. Практичность

4. Эффективность

5. Мобильность

6. Функциональность

Тестирование методом черного ящика

В этой стратегии программа рассматривается как чёрный ящик. Целью тестирования ставится выяснение обстоятельств, в которых поведение программы не соответствует спецификации. Для обнаружения всех ошибок в программе необходимо выполнить исчерпывающее тестирование, то есть тестирование на всевозможных наборах данных. Для большинства программ такое невозможно, поэтому применяют разумное тестирование, при котором тестирование программы ограничивается небольшим подмножеством всевозможных наборов данных. При этом необходимо выбирать наиболее подходящие подмножества, подмножества с наивысшей вероятностью обнаружения ошибок.

Свойства правильно выбранного теста

• Уменьшает более, чем на одно число других тестов, которые должны быть разработаны для разумного тестирования.

• Покрывает значительную часть других возможных тестов, что в некоторой степени свидетельствует о наличии или отсутствии ошибки до и после ограниченного множества тестов.

Методы стратегии чёрного ящика

• Эквивалентное разбиение.

• Анализ граничных значений.

• Анализ причинно-следственных связей.

• Предположение об ошибке.

Обнаруживает следующие категории ошибок:

• некорректная или отсутствующая функция

• ошибки во внешних структурах данных или в доступе к внешней БД

• ошибки характеристик

• ошибки инициализации и завершения

Тестирование методом белого ящика

Объект тестирования – внутренне поведение программы

Проверяется корректность построения всех элементов программы и правильность их взаимодействия друг с другом. Анализируется управляющие связи элементов. Тестирование методом белого ящика основано на анализе управляющей структуры программы. Программа считается полностью проверенной, если проведено исчерпывающее тестирование маршрутов ее графа управления.

В этом случае формируются тестовые варианты, в которых:

• гарантируется проверка всех независимых маршрутов программы

• проходятся ветви true, false для всех логических решений

• выполняются все циклы

• анализируется правильность внутренних структур данных

Недостатки:

• число независимых маршрутов обычно очень велико

• исчерпывающее тестирование маршрутов не гарантирует соответствия программы исходным требованиям к ней

• в программе могут быть пропущены некоторые маршруты

Достоинства:

• позволяет учесть особенности программных ошибок

• количество ошибок минимально в «центре» и максимально на «периферии» программы

• предварительное предположение о верности потока управления и данных в программе часто бывает некорректно

• при записи алгоритма ПО в виде текста на языке программирования возможно выявление типовых ошибок трансляции

• некоторые результаты в программе зависят от внутренних состояний программы