Реализация системы

спринт Реализация системы
Реализация
5/5
О чём этот спринт
Языки программирования
Парадигмы программирования
Обзор языков программирования
Процесс программирования
Тестирование
3/3
Тестирование
Уровни тестов
План тестирования
Воркшоп и домашнее задание
2/2

Тестирование

Тестирование ПО

Вы уже знаете, что за этапом разработки следует тестирование. В этом уроке вы познакомитесь с видами тестирований и узнаете о роли тестировщика в команде разработки.
Даня
Мне приснился кошмар системного аналитика!
Айгуль
Ого! Какой? А ты опять спишь на рабочем месте?
Даня
У меня был перерыв😅 Приснилось, что ПО для «Капсулы» ужасно работает, и все винят в этом меня.
Айгуль
Хм, а в твоём сне проводили тестирование?
Даня
Не помню… А почему ты спрашиваешь?
Айгуль
Тестирование страхует нас от ошибок и кошмаров наяву 😉

Тестирование

Процесс написания кода похож на создание книги — ни один профессиональный писатель не будет доволен своим первым черновиком. Поэтому на помощь писателям приходят редакторы и корректоры, которые вычитывают текст и ищут ошибки. Перечитывание, редактирование и исправление первоначального черновика в финальный вариант книги — отличительная черта писательства.
Когда речь идёт о коде, на помощь разработчикам приходят тестировщики. Но тут может возникнуть вопрос: «Почему разработчики не могут сами проверить свой код?». Разработчики действительно проверяют свой код. Для этого у них есть множество инструментов и средств: например, разработчики часто проводят код-ревью для выявления ошибок в коде друг друга.
Однако подход разработчиков и тестировщиков очень разный:
  • тестировщики выполняют свою работу, исходя из принципа: «Любое программное обеспечение содержит ошибки». Это позволяет им замечать ошибки везде: в логике работы системы, в интерфейсе, в интеграциях;
  • тестировщики подходят к своей работе с позиции: «А что если?», то есть задают множество вопросов разработчикам и аналитикам.
Например, такие вопросы могут помочь при обсуждении требований. Когда системный аналитик и разработчики обсуждают требования, им кажется очевидным, что пользователь придумает надёжный пароль к системе, в которой хранятся его персональные данные. Поэтому предъявлять никаких дополнительных требований к паролю не планируют. Тогда тестировщик может задать вопрос: что будет, если пользователь придумает пароль «1» или «123», который не соответствует базовым требованиям безопасности?
В отличие от разработчиков, каждый из которых обычно нацелен на выполнение узкой, поставленной ему задачи, тестировщики, как правило, думают шире. Они смотрят уже на итоговый продукт в целом, проверяя не только конкретный функционал, но и оценивают его через призму бизнес-требований.
Таким образом, ключевая задача тестирования — это проверка соответствия реальных и ожидаемых результатов поведения программы (или продукта).

Почему тестирование важно?

Большинство компаний тратит на тестирование больше времени и денег, чем на написание кода, поскольку цена ошибок очень высока.
Чем больше внимания уделяется тестированию, тем меньше риски возникновения ошибок в системе. Простои и сбои могут стоить компаниям огромных затрат. Час неработоспособности системы может стоит больше 100 тысяч долларов, а иногда в случае критически важных систем, например, систем жизнеобеспечения, чьей-то жизни. Тестирование — это форма страховки. Организации готовы тратить много времени и денег, чтобы предотвратить серьёзные сбои после установки системы.
До тех пор пока не завершено тестирование, программное обеспечение не готово к передаче в эксплуатацию. По этой причине программирование и тестирование тесно связаны.

Как СА участвует в тестировании

СА активно участвует в процессе тестирований ПО. В некоторых компаниях тестирование является также и основным направлением деятельности системных аналитиков.
  • В первую очередь СА выявляет и документирует требования, на основе которых и будет тестироваться ПО.
  • СА описывает ожидаемые результаты поведения ПО и пишет критерии приёмки.
  • Кроме того, СА часто приглашают на обсуждение критериев и сценариев приёмки в качестве эксперта и основного источника знаний о требованиях.
Вы узнали об участниках процесса тестирования и их задачах. Выберите из списка задачи, которые выполняет тестировщик.

Виды тестирования

В зависимости от того, используются или нет инструменты для автоматизации в этом процессе, выделяют два вида тестирования:
  • ручное;
  • автоматизированное.

Ручное тестирование

Ручное, или мануальное тестирование (от англ. manual testing) — это проверка ПО, при которой не используется специальное ПО, то есть тестирование выполняется только силами человека.
Для ручного тестирования тестировщики готовят тест-кейсы (от англ. test case).
Тест-кейс — это документ, содержащий шаги, которые необходимо выполнить для тестирования программного продукта. Он используется для тестирования конкретной функции (например, создание таблицы) или конкретного аспекта (например, скорость выполнения запроса в базу данных) программного обеспечения.
Разберём простой пример тест-кейса для тестирования функции авторизации в личном кабинете интернет-магазина.
Данный тест-кейс содержит:
  • Описание — условия, в которых тестируется функция. Например, авторизацию можно проверить для пользователя с существующей учётной записью и для пользователя с несуществующей учётной записью;
  • Шаги — описание шагов, которые необходимо пройти тестировщику для проверки функции;
  • Ожидаемые результаты — описание ожидаемого поведения ПО в ответ на действия тестировщика.
ОписаниеШагиОжидаемый результат
Авторизация пользователя с существующей учётной записью и корректным паролем1. Открываем форму авторизации https://test.login/ 2. Ввести логин 3. Ввести пароль 4. Нажать кнопку «Войти»Авторизация успешна, после проверки пользователь переходит в личный кабинет
Авторизация пользователя с учётной записью и некорректным паролем1. Открываем форму авторизации https://test.login/ 2. Ввести логин 3. Ввести пароль 4. Нажать кнопку «Войти»Авторизация не успешна, пользователь остаётся на странице с формой авторизации, выдаётся ошибка с кодом ошибки f0004
Авторизация пользователя с несуществующей учётной записью1. Открываем форму авторизации https://test.login/ 2. Ввести логин 3. Ввести пароль 4. Нажать кнопку «Войти»Авторизация не успешна, пользователь остаётся на странице с формой авторизации, выдаётся ошибка с кодом ошибки f0004
По итогам выполнения шагов тестировщик сравнивает ожидаемый и фактический результат и записывает, какие тесты были пройдены успешно, а в каких обнаружены ошибки.
Формат оформления тест-кейсов может отличатся в разных командах. В следующих уроках подробнее разберём шаблон оформления тест-кейсов для ручного тестирования ПО.

Примеры применения ручного тестирования

Как правило, выбор того или иного вида тестирования зависит от целей и ресурсов команды. Ручное тестирование используется тогда, когда оно дешевле и целесообразнее для процесса разработки. Например, ручное тестирование чаще используется для:
  • проверки удобства использования (UX: в данном случае тестировщик выступает как потенциальный пользователь продукта, следовательно, его отзыв можно трактовать как обратную связь пользователя);
  • сложных сценариев работы системы: такие сценарии обычно содержат большое количество условий воспроизведения и/или большое количество шагов. Например, тестирование работы системы в результате её восстановления из резервной копии на конфигурации конкретного клиента.

Преимущества и недостатки ручного тестирования

У ручного тестирования есть как преимущества, так и недостатки. Среди преимуществ можно выделить следующие:
  • не требует знаний программного кода: для выполнения ручного тестирования не нужно знать языки программирования
  • дёшево в краткосрочной перспективе: требуются инвестиции только в человеческие ресурсы и не нужно дополнительное ПО.
Среди недостатков выделяют следующие:
  • высокая вероятность ошибок: так как тестирование выполняется не инструментами, а людьми, не исключен фактор человеческой ошибки;
  • требуются значительные инвестиции в человеческие ресурсы: уровень тестировщиков напрямую влияет на качество результата. Например, по-настоящему опытные тестировщики способны увидеть варианты использования, которые не были предусмотрены системными аналитиками;
  • занимает много времени: процесс тестирования выполняется людьми вручную и требует времени;
  • затруднительно в случае необходимости работы ночью: некоторое ПО возможно протестировать только в нерабочие часы, когда с ним не работают пользователи. Поэтому тестировщики вынуждены проводить тесты в ночное время;
  • невозможно выполнить нагрузочное тестирование: Ручное тестирование не позволяет имитировать реальную нагрузку, с которой должно справляться ПО.
Даня
Наверное, в автоматизированном тестировании программа всё сама делает? Да?
Айгуль
Нет, без тестировщика всё равно не обойтись — он должен разработать тестовый скрипт для программы.

Автоматизированное тестирование

Автоматизированное тестирование (от англ. automated testing) — метод, при котором тестировщик пишет тестовые скрипты (от англ. test scripts) и использует для тестирования специализированное программное обеспечение.
Тестовый скрипт — это набор инструкций или короткая программа, цель которой выполнить тестирование функциональности программного продукта.
Автоматические тесты пишут на разных скриптовых языках, то есть тех языках программирования, которые разработаны для выполнения последовательности действий (шагов). Примерами скриптовых языков являются Java, Python, Ruby.
Тестовые скрипты составляются тестировщиками на основе тест-кейсов. По сути, это процесс автоматизации ручного тестирования. Он позволяет выполнять повторяющиеся задачи без необходимости привлечения ручного тестирования.
Тест-кейс и тестовый скрипт взаимозаменяемы. Оба они являются шагами для проверки любой функциональности приложения. Но между ними есть небольшая разница.
Тест-кейсТестовый скрипт
Тест-кейс позволяет провести пользовательское тестирование.Тестовый скрипт подходит для тестирования стандартной и достаточно простой функциональности.
Обновление тест-кейсов обычно требуется, если речь идёт о новой функциональности.В случае программного обеспечения в активной стадии развития (или использования) тестировщикам приходится постоянно обновлять тестовые скрипты, чтобы они соответствовали изменениям.
Тест-кейсы требуют больше времени и усилий для тестирования, так как их прохождение требует человеческого участия.Тестовые скрипты требуют меньше времени для тестирования, так как выполняются автоматически.
Выберите по описанию, к какому инструменту относится карточка: тест-кейсу или тест-скрипту.
Тест-кейс
Используется для ручного тестирования
Пишется на языке, понятном человеку
Шаблон тестирования, написанный тестировщиком
Тест-скрипт
Используется для автоматизированного тестирования
Пишется с помощью скриптового языка
Программа, написанная тестировщиком

Процесс автоматизированного тестирования

В общем виде процесс автоматизированного тестирования можно разделить на следующие этапы.
  1. Выбор инструмента Сначала команда определяется с инструментом автоматизированного тестирования, то есть средой тестирования, которая позволит писать, хранить и запускать тесты в разных браузерах, на различных операционных системах и разных базах данных. При выборе инструмента необходимо учитывать следующие критерии:
  2. есть ли соответствующая квалификация и опыт у тестировщиков;
  3. какой бюджет доступен для приобретения и сопровождения инструментов;
  4. удовлетворяет ли инструмент потребностям команды.
    Среди популярных инструментов для автоматизации тестирования можно выделить: Cucumber, SpecFlow, Selenium, QTP, Sikuli, Appium, Jmeter, TestNG, Zephyr, QTP/UFT.
  5. Определение масштаба автоматизации Во вторую очередь выбираются те функции, тестирование которых будет автоматизировано. Необходимо понимать, что автоматизировать всё тестирование, скорее всего, не получится, поскольку есть функциональности, автоматизация которых может быть нецелесообразной. Следовательно, необходимо понять, как часто будут выполняться те или иные тестовые скрипты и какова будет окупаемость инвестиций в процесс автоматизации.
  6. Планирование и разработка На данном этапе после выбора инструмента тестировщики начинают разрабатывать тестовые скрипты с учётом ограничений масштаба автоматизации.
  7. Выполнение тестовых скриптов На этом шаге разработанные тестовые скрипты готовы к запуску.
  8. Сопровождение и анализ результатов В результате выполнения тестовых скриптов генерируются отчёты. Они содержат перечень того, что протестировано успешно или с ошибками. Анализ и документирование итогов автоматических тестов выполняется уже вручную.

Примеры применения автоматизированного тестирования

Автоматизированное тестирование, так же как и ручное, используется тогда, когда оно дешевле для процесса разработки.
Как правило, автоматические тесты используются для:
  • простых и часто используемых сценариев — авторизация на сайте, заполнение стандартных экранных форм и так далее;
  • сценариев, которые впоследствии будут использоваться для тестирования отказоустойчивости системы;
  • нагрузочного тестирования, так как автотесты позволяют имитировать, например, одновременный доступ многих пользователей в систему.
  • для тестирования в ночное время, так как автоматические тесты могут выполняться без привлечения людей.

Преимущества и недостатки автоматизированного тестирования

У автоматизированного тестирования есть как преимущества, так и недостатки.
Среди преимуществ можно выделить следующие пункты:
  • выполнение тест-кейсов упрощается за счёт автоматизации, так как запуск тест-кейсов не требует привлечения человеческих ресурсов;
  • повышается надёжность тестирования, так как минимизируется человеческий фактор;
  • в долгосрочной перспективе уменьшаются время и расходы на тестирование, так как в данном случае основные инвестиции идут в инструменты, а не в человеческие ресурсы.
Но есть у автоматизированного тестирования и недостатки:
  • для написания тестовых скриптов необходимо знание языков программирования;
  • нужно потратить значительное количество усилий для выбора инструментария для тестирования, так как выбор инструмента определит требования к команде тестировщиков;
  • невозможно протестировать все аспекты системы, например, дизайн или удобство пользования, так как эти аспекты можно проверить только ручным образом.
Выберите из списка характеристики автоматического тестирования
Выберите по описанию кейса, какой вариант тестирования в данном случае предпочтителен.
Продукт в активном использовании у большого количества пользователей. Планируется к выходу новая версия со сложным функционалом, который планируется к использованию только несколькими, но ключевыми клиентами. Необходимо протестировать, как продукт поведёт себя в ряде конкретных ситуаций с большим количеством настроек, шагов и вводных данных.
Выберите по описанию кейса, какой вариант тестирования в данном случае предпочтителен.
Продукт в активном использовании у большого количества пользователей. К выходу планируется новый функционал, который будет востребован практически у всей базы пользователей. Необходимо протестировать, выдержит ли продукт заявленную пиковую нагрузку.

Подведём итоги

Тестирование — это проверка соответствия реальных и ожидаемых результатов поведения программы (или продукта).
В ходе тестирования могут быть обнаружены:
  • ошибки в реализации функционала;
  • новые варианты использования, которые не были выявлены аналитиком или разработчиком.
Выделяют два вида тестирования:
  • ручное;
  • автоматизированное.
Для выполнения ручного тестирования пишутся тест-кейсы — документы, содержащие шаги, которые необходимо выполнить для тестирования ПО. Тест-кейсы пишутся на языке, понятном человеку.
Для выполнения автоматических тестов тестировщики пишут тестовые скрипты — набор инструкций или короткую программу, цель которой — выполнить тестирование функциональности ПО. Скрипты пишутся с использованием скриптовых языков программирования и запускаются на специализированном ПО.
Роль системного аналитика в процессе тестирования очень важна, поскольку и ручное и автоматизированное тестирование выполняется на основе требований, выявленных системным аналитиком.