Методы тестирования. Тестирование методом черного ящика

Методы тестирования

Тестирование методом «черного ящика»

Отличия в тестировании методами черного и белого ящика.

Тестирование методом «черного ящика»

Основная идея в тестировании системы как черного ящика состоит в том, что все материалы, которые доступны тестировщику, - это требования на систему, описывающие ее поведение, и сама система, работать с которой он может, только подавая на ее входы некоторые внешние воздействия и наблюдая на выходах некоторый результат.

Основная задача тестировщика для данного метода тестирования состоит в последовательной проверке соответствия поведения системы требованиям.

Кроме того, тестировщик должен проверить работу системы в критических ситуациях - что происходит в случае подачи неверных входных значений.

В идеальной ситуации все варианты критических ситуаций должны быть описаны в требованиях на систему и тестировщику остается только придумывать конкретные проверки этих требований.

Отчеты об обоих типах проблем документируются и передаются разработчикам.

При этом проблемы первого типа обычно вызывают изменение программного кода, гораздо реже - изменение требований. Изменение требований в данном случае может потребоваться из-за их противоречивости (несколько разных требований описывают разные модели поведения системы в одной и той же самой ситуации) или некорректности (требования не соответствуют действительности).

Где используется метод «черного ящика»?

Интеграционное тестирование.

Функциональное тестирование.

Стресс-тестирование.

Usability-тестирование.

Тестирование производительности.

Приемочное тестирование.

Регрессионное тестирование.

Beta-тестирование.

Техники тестирования «черным ящиком»

Эквивалентное разбиение.

Анализ граничных значений.

Тестирование таблицы переходов. 4. Тестирование по сценариям использования.

Достоинства метода

Тестирование методом «черного ящика» позволяет найти ошибки, которые невозможно обнаружить методом «белого ящика».

«Черный ящик» позволяет быстро выявить ошибки в функциональных спецификациях (в них описаны не только входные значения, но и то, что мы должны в итоге получить).

Тестировщику не нужна дополнительная квалификация.

Тестирование проходит «с позиции пользователя».

Составлять тест-кейсы можно сразу после подготовки спецификации

Недостатки метода

Возможность пропуска границ и переходов, которые не очевидны из спецификации, но есть в реализации кода.

Можно протестировать только небольшое количество возможных вводных (входящих) значений.

При отсутствии четкой и полной спецификации проектировать тесты и тест-сценарии оказывается затруднительно.

Подведем итоги

Метод «черного ящика» является эффективным при различных видах тестирования, но следует помнить, что некоторые ошибки невозможно найти, используя только этот метод (например, ошибки во внутренней структуре кода).

Проведение «black-box» тестирования увеличивает уверенность в том, что приложение надежно работает на широком диапазоне входных данных, так как набор тестовых данных зависит только от спецификации, а не от особенностей внутренней реализации продукта.

Метод «черного ящика» выгодно применять, если вы ищете:

 неправильно реализованные функции приложения или сервиса;  ошибки в пользовательском интерфейсе;  ошибки в функциональных спецификациях.

Для реализации наиболее полной проверки рекомендуется использовать методы

«черного» и «белого» ящиков одновременно. Это позволит увеличить покрытие возможных сценариев, снизить риск пропуска ошибки, а также качественно

улучшить результаты тестирования, так как приложение или сервис будет проверено двумя разными методами – с позиций пользователя и внутреннего устройства системы.

Практическая часть

Тестирование приложения методом «черного ящика» по сценариям пользователя.

Часть1 Тестирование треугольника.

Цель работы: получить навыки тестирования методом «черного ящика», используя технику тестирования по сценариям пользователя.

Задание 1. Создать приложение для определения вида треугольника и вычисления его периметра и площади. При создании использовать шаблон Windows Forms.

Требования к приложению.

Приложение должно:

Проверять существование треугольника

Определять тип треугольника (разносторонний, равносторонний, равнобедренный, прямоугольный, остроугольный или тупоугольный) по длинам его сторон.

Вычислять площадь треугольника.

Вычислять периметр треугольника.

Ограничения:

При оставлении любого поля для ввода пустым должно обрабатываться исключение;

При заполнении любого поля для ввода некорректными данными должно обрабатываться исключение;

Сторонами треугольника могут быть только целые числа.

Три числа не могут быть определены как стороны треугольника, если: - если хотя бы одно из них меньше или равно 0; - сумма двух из них меньше третьего.

Задание 2. Составить спецификацию переменных.

Задание 3. Подготовить тестовый сценарий (набор тест-кейсов) для обнаружения ошибок в программе.

Результат оформить в следующем виде:

Задание 4. На основании проведенных тестов составьте отчет об ошибках (баг-репот) Пример оформления баг-репота:

Задание 5. Выполните тестирование по чек-листу из приложения 1.

Часть2. Тестирование приложения для решения квадратного уравнения.

Задание к практической работе.

Составить план тестирования приложения для решения квадратного уравнения;

Провести тестирование согласно плану тестирования;

Описать все необходимые тест-кейсы и оформить их по образцу, представленному выше

План тестирования приложения.

1. Объект тестирования (файл для тестирования прилагается).

Описать объект тестирования. Самостоятельно составить требования к приложению, исходя из его внешнего вида и правил решения квадратных уравнений (пример см. в лабораторной работе №9).

2. Конфигурация системы.

Описать вашу систему, на которой проводится тестирование.

3. Описание процесса тестирования

Что было представлено для тестирования.  

4. Методика тестирования (выбрать из списка - белого, серого или черного ящика)

5. Тип тестирования (выбрать из списка - разбиение на классы эквивалентности, анализ граничных значений, по сценарию пользователя, интуитивное)

Примененные виды тестирования (выбрать из списка – установки, интерфейса, функциональное)

6. Сроки проведения тестирования (дата, время)

​​​​​​​7. Ход тестирования.

Самостоятельно составить все необходимые тест-кейсы для тестирования приложения. Пример оформления тест-кейсов см. выше

На основании проведенных тестов составьте отчет об ошибках (баг-репот) Пример баг-репота см. выше

Заключение. Составить чек-лист для тестирования приложения по примеру из первой части практической работы.

Приложение 1 Чек-лист для проверки проведенного тестирования.

В графе «Отметка о прохождении» поставьте «+» напротив тестов, которые вы провели.

Позитивные тесты

Негативные тесты