Test report что это
test report
Смотреть что такое «test report» в других словарях:
test report — gaminio juslinės analizės protokolas statusas Aprobuotas sritis žemės ūkio ir maisto produktų sauga ir kokybė apibrėžtis Dokumentas, kuriame registruojami kiekvienos juslinės savybės individualūs vertintojų rezultatai ir galutinis gaminio… … Lithuanian dictionary (lietuvių žodynas)
test report — bandymo ataskaita statusas T sritis Standartizacija ir metrologija apibrėžtis Dokumentas, kuriame pateikiami bandymo rezultatai bei kita su juo susijusi informacija. atitikmenys: angl. test report vok. Prüfbericht, m rus. отчет испытаний, m pranc … Penkiakalbis aiškinamasis metrologijos terminų žodynas
test report — bandymų protokolas statusas T sritis Standartizacija ir metrologija apibrėžtis Dokumentas, kuriuo gamintojas laiduoja, jog pristatyti gaminiai atitinka užsakymo reikalavimus, ir kuriame jis pateikia gaminių bandymo rezultatus. atitikmenys: angl.… … Penkiakalbis aiškinamasis metrologijos terminų žodynas
accredited laboratory test report — akredituotosios laboratorijos bandymo ataskaita statusas T sritis Standartizacija ir metrologija apibrėžtis Bandymo ataskaita, kurioje bandymų laboratorija nurodo, kad ji yra akredituota atlikti bandymą, kurio rezultatus pateikia protokole, ir… … Penkiakalbis aiškinamasis metrologijos terminų žodynas
Test data exclusivity — refers to protection of clinical test data required to be submitted to a regulatory agency to prove safety and efficacy of a new drug, and prevention of generic drug manufacturers from relying on this data in their own applications.… … Wikipedia
Test-driven development — (TDD ) is a software development technique consisting of short iterations where new test cases covering the desired improvement or new functionality are written first, then the production code necessary to pass the tests is implemented, and… … Wikipedia
Test Card W — is a test card, an image used to determine the quality of a broadcast television picture. It is an updated 16:9 (1.78:1) widescreen version of Test Card F, which was created by BBC engineer George Hersee. Test Card W is similar to Test Card J,… … Wikipedia
Test unit — Test unitaire Pour les articles homonymes, voir Test. En programmation informatique, le test unitaire est un procédé permettant de s assurer du fonctionnement correct d une partie déterminée d un logiciel ou d une portion d un programme (appelée… … Wikipédia en Français
Test Money — (or Test Notes, Test Bills, Funny Money, Monopoly Money) are a part of the test apparatus that are often used with currency handling equipment, such as Automatic teller machines. While it is often desirable to use actual banknotes or coins in the … Wikipedia
Test d’amobarbital sodique intracarotidien — Test de Wada En neurologie, le test de Wada consiste à injecter un anesthésique (en général de l amobarbital sodique) dans l une des artères carotides internes (droite ou gauche) de façon à déterminer quel est l hémisphère cérébral dominant pour… … Wikipédia en Français
Test de wada — En neurologie, le test de Wada consiste à injecter un anesthésique (en général de l amobarbital sodique) dans l une des artères carotides internes (droite ou gauche) de façon à déterminer quel est l hémisphère cérébral dominant pour une fonction… … Wikipédia en Français
Создание понятных отчетов о тестировании
Введение
Данная статья будет полезна для специалистов не только в тестировании, но и из других областей.
Я думаю, все понимают, что отчётность — это, зачастую, та часть, которая обязательна на проекте, но составлять ее всегда проблематично. Каждый, рано или поздно, сталкивается с проблемой «как это описать?», «что написать?» и главное «зачем и кто это будет читать?».
На самом деле, отчет — это важная и лаконичная форма передачи информации от исполнителя к заказчику. Это ответ на его технические требования и одновременно информация о проделанной работе.
Сегодня мы поговорим об отчетах в тестировании. В статье Вы найдет акценты на важные моменты при создании отчётов.
Понятный отчёт о тестировании
Создание понятного отчёта о тестировании (test-report) на практике.
Для начала, давайте вспомним определение:
Отчёт — это документ, содержащий информацию о выполненных действиях, результатах проведённой работы. Обычно он включает в себя таблицы, графики, списки, просто описывающую информацию в виде текста. Их пропорция и содержание определяют пользу и понятность отчета.
Нам важно понять, для кого, для чего и в каких условиях мы это делаем и на сколько это улучшит восприятие излагаемой нами информации. Надо помнить, что каждое действие преследует определенную цель. В случае отчета нам важно понять, для кого, для чего и в каких условиях мы это делаем.
Давайте посмотрим на схему:
Аналитические разрезы – это и есть наш отчет. В нем мы даем анализ нашей работе и оценку тестируемому продукту.
Вид компании, в идеальной ситуации, не должен влиять на качество и смысловую ёмкость отчетности. В реальном же мире, к сожалению, отчетность аутсорсинговых компаний является, как правило, более качественной и емкой, чем отчетность штатных отделов тестирования (бывают и приятные исключения).
Мы, как и любая другая аутсорсинговая компания, вынуждены уделять большое внимание качеству и прозрачности отчетности, потому что она является ключевой видимой заказчику метрикой оценки нашей работы.
Саму отчетность можно разделить на финальную и регулярную – дневную, недельную, месячную, версионную (для каждой версии продукта) и т.п. Различия заключаются в глубине временнОй выборки.
Итак, перед написанием отчета, сначала нам надо определиться для кого мы его пишем.
Для кого формируем отчет?
При создании отчета важно понимать, для кого он создаётся, и кто будет его читать.
Исходя из приоритетов целевой аудитории, мы должны определить, какую информацию должен содержать отчёт. Соответственно, в ходе проекта, информация должна консолидироваться по тому направлению, которое необходимо отразить.
Мы можем выделить три группы целевых аудиторий:
1. Технические пользователи — Test-manager. Для них приоритетно понимание хода тестирования, какие возникают проблемы, как они решаются, построение самого процесса тестирование, описание применяемых методов и технологий.
2. Product Manager, они же Менеджеры продукта. Их фокус сконцентрирован на сроках выполнения, выжимки из результатов тестирования без излишних технических подробностей и на общую статистику (цифровые и сравнительные метрики).
3. Бизнес-пользователи. Обычно это и есть те люди, которые принимают решения по завершению тестирования. Они же определяют качество проделанной работы. Для них, в первую очередь, важен конечный результат в максимально кратком и ясном формате (да\нет), наглядное представление информации (графики, диаграммы), экспертное мнение о возможности выпуска продукта в промышленную среду и т. п., без углубления в детали.
Вывод: Написать отчет, который устроит все группы, практически невозможно. Прежде чем писать отчет, обязательно определите целевую аудиторию. В зависимости от нее, содержание будет сильно отличаться своей структурой и содержать разные детали, необходимые конкретной группе.
Какова глубина временной выборки?
Отчёты могут делиться на два вида относительно времени:
1. (Недельный, дневной, месячный)/ промежуточный.
В общем, это практически тот же финальный отчет, но с измененными приоритетами фокуса и уменьшенной глубиной временной выборки. В нем обязательно должны содержаться две главных метрики:
— Оценка степени готовности продукта.
— Оценка проведённых работ по тестированию за время между отчетностями (прогресс).
Этот отчет должен показать какова динамика вашей работы.
Важно помнить, что прогресс – величина не постоянная, а динамическая, она определяется за счёт сравнения состояния проекта на прошлой неделе и настоящей. Соответственно прогресс – этот совокупность метрик, позволяющих понять в каком состоянии находится проект.
Они создаются для каждого проекта индивидуально, основываясь на целях, которые ставятся для успешного проведения тестирования. Метрики ставятся при создании ТК (тест-кейсов), прохождении ТК (провален\пройден), обнаружении дефектов (критичность). Они позволяют доступно и достаточно быстро составить общую сравнительную картину по проекту. Если вы, например, используете TestLink, то понимаете, что метрики позволяют делать быструю выборку по проблемам, составлять статистику проваленных ТК и т. п.
Данная информация полезна и необходима для Product Manager, её составляют и контролируют Test-manager, а также QE и SQE.
Есть еще один важный и часто используемые тип временного отчета – версионный (отчет по итерации).
Он схож с итоговым. В нём описываются те задачи, которые были выполнены командой тестирования для конкретной версии продукта.
2. Конечный /финальный.
В финальном отчете важно показать общий взгляд на проделанную работу (в контексте установленных метрик) и эволюцию продукта.
Так же, надо дать исчерпывающую информацию о статусе продукта в данный момент (количество оставшихся неисправленных ошибок, полностью ли протестирован продукт или требуется дополнительный цикл тестирования, оценка возможности выпуска продукта во «внешний мир» и т.д).
Вывод: Ведите статистику, используя метрики в течении всего проекта. Она поможет вам в нужный момент предоставить любую информацию заказчику и избавит от страха перед вопросами «А что конкретно вы сделали на четвертой неделе?» и «Что у нас со сроками?».
Какие приёмы представления информации и данных использовать в отчёте?
Когда технический специалист пишет для другого технического специалиста, вопрос о применении тех или иных приемов отражения информации возникает редко. Термины, формулы, профессиональный сленг – это привычно и понятно. Гораздо сложнее писать отчеты для людей, которые относительно далеки от специфики тестирования.
Для Бизнес-пользователей, зачастую, используют представление информации в виде графиков. Они наглядно показывают на сколько продукт готов к выпуску в промышленную среду, на сколько процентов проект выполнен.
Это может быть, к примеру, график пройденных ТК п о модулям. Он наглядно покажет, какой объем работы в каждом модуле уже проделан и поможет вычленить проблемы.
Так же, очень полезным может быть график отношения созданных тикетов (обнаруженных багов) и закрытых (исправленных багов). Не даром он является основным во многих таск-трекерах.
В случае продуктивной работы программистов над исправлением дефектов и написанием качественного кода кривая критических ошибок с выходом нового релиза стремиться к низу, при этом приоритет и важность ошибок тоже уменьшается.
Но, если разработчиками или тестировщиками уделяется мало внимания существующим дефектам, то кривая закрытых багов растет медленнее, чем не закрытых.
В идеальном случае кривая незакрытых багов (найденных, но не исправленных) должна сойтись с кривой исправленных. Другими словами, к финальному релизу необходимо, что бы все дефекты были устранены. Если это не так, то руководство может принять решение о продлении разработки и тестирования с целью устранения всех дефектов или выпустить продукт в «прод», беря на себя возможные риски.
В дополнение к графику необходимо оформлять сводную таблицу. График строится на основании этих данных.
Вот пример таблицы, на основании которой был построен график пройденных ТК по модулям:
Вывод: График для бизнес-пользователей — обязательная часть отчетности. Он информативен, доступен и понятен конечному пользователю, демонстрирует динамику активности на проекте или, в худшем случае — застой.
Так же, использование графиков в отчетах для любых пользователей и технических специалистов целесообразно тогда, когда надо быстро и наглядно сравнить цифры и показать динамику.
ЧТО НУЖНО УКАЗЫВАТЬ В ОТЧЕТЕ ВСЕГДА?
Может показаться, что отчеты разных типов сильно отличаются.
Тем не менее, в них есть схожие черты и данные, которые стоит указывать всегда.
Вот они:
1. Состав команды;
2. Сроки выполнения, за которые составляется отчет;
3. Описание процессов тестирования;
4. Изменения тестовой модели, дополнение ТК;
5. Процент пройденных ТК;
6. Критичные и блокирующие проблемы и принятые меры по их устранению;
7. Результаты регресса (плюс акцент на сохранившихся проблемах);
8. План на следующую итерацию\ неделю\ месяц;
Пункты 3, 4, 6 и 8 стоит писать с оглядкой на целевую аудиторию отчета.
Седьмой пункт стоит указывать тогда, когда проводилось «регресс-тестирование». Обычно этот пункт фигурирует в «версионных» отчетах.
Пункт 8 из итогового отчета исключается.
Заключение
Итак, мы поняли нашу целевую аудиторию, обозначили период, за который мы будем писать отчет, определили содержание и блоки. На самом деле — это практически все, что надо, чтобы сформировать понятный документ, который обязательно найдет отклик в головах тех, кому он адресован.
Пишите ваши отчеты детально, грамотно и с удовольствием, ведь хороший отчет – это как минимум треть работы и единственная ее часть, которая видна кому-то, кроме тестировщиков и программистов.
От тест-кейса до баг-репорта: что должен знать профессиональный тестировщик
На протяжении трех лет я работал на должности QA и считаю, что в IT-индустрии тестировщик, будучи частью scrum-команд, так же ценен, как и любой другой член команды.
Мне доводилось видеть различные аутсорсинговые компании, работающие в сфере тестирования, которые предоставляют полные интенсивные учебные курсы, чтобы превратить начинающих специалистов в экспертов QA. Большинство курсов QA больше связаны с тестированием ПО и ведут к тому, чтобы в перспективе стать разработчиком.
В этой статье я хотел бы изучить и представить свое видение того, как стать тестировщиком и как бы выглядело обучение в области выращивания инженеров обеспечения качества, если бы мы провели аналогию с университетским образованием: общие принципы и предметы, которые должны преподавать, а также какие пробелы в текущей ситуации нам нужно заполнить.
Основные навыки тестирования
В качестве базовых знаний студенты должны изучать тестовые артефакты (тестовую документацию) такие как: чек-лист, тест-кейс, тест-стратегия, тест-план, баг-репорт и тест-репорт.
Что это это такое? Давайте разберемся вкратце на примере курсов QA Manual.
Базовая теория тестирования
Рекомендуем курс по теме
Техники тест-дизайна
Существует несколько техник, помогающих создать эффективные проверки, которые рассматривают QA курсы онлайн. Техники тест-дизайна помогают создавать меньше тест-кейсов, руководствуясь логикой и предыдущим опытом, и одновременно найти наибольшее количество серьезных ошибок.
В качестве базовых знаний студенты должны изучать тестовые артефакты
Классификация тестирования
Тестовые активности можно классифицировать по разным параметрам, поделить на виды, разложить на классы, распределить по уровням, организовать в «семейства» и т.п.
Что нужно знать тестировщику: студентам также должны преподавать принципы тестирования, рассказывать о том, как соблюдать баланс между объемом работ и рисками, как создавать эффективные тестовые планы, а также обучать навыкам управления временем для повышения своей продуктивности.
Направления тестирования ПО
Существует несколько основных направлений тестирования (в зависимости от природы приложения): тестирование мобильных приложений, тестирование WEB-приложений, когда интерфейс программ отображается в браузере, тестирование desktop-приложений, которые необходимо устанавливать в ОС. Также, можно выделить еще достаточное количество более узких специалистов-инженеров, обеспечивающих качество: проверка игр, проверка безопасности, проверка нагрузки и т.п.
Так как я выполнял проверки игр, я считаю, что для того, чтобы QA был эффективным, необходимым является понимание основных игровых дисциплин. Это дает возможность разобраться в основах программирования или же понять принципы анимации на базовом уровне. Я заметил, что многие студенты заканчивают технические специальности в университетах, но в итоге проходят курсы QA и впоследствии двигаются в этом направлении.
Также должно быть уделено особое внимание тому, как предотвращать проблемы до их обнаружения и что является в данный момент самым эффективным решением — все компании к этому стремятся. Ведь если разобраться, то меньше ресурсов (времени всех членов команды, денег, вычислительных мощностей и т.п.) уйдет на предотвращение ошибки, чем на её нахождение, документирование, починку и проверку.
По завершении курса студенты должны находить эффективные решения проблем и общаться со всеми членами команды разработки на одном языке.
Рекомендуем публикацию по теме
Agile и Scrum для QA-специалиста
Agile и Scrum должны лежать в основе процессов разработки, которые преподаются в этом курсе. Студенты смогут понять, по каким процессам и руководствуясь какой логикой ведется общение в команде и принятие решений. Введение в специальность подготовит студентов к трудовой жизни в компаниях. Должно быть уделено особое внимание тому, как предотвращать проблемы до их обнаружения, а также важности QA и основных моментов, таких как непрерывная интеграция, TDD и т. д.
Также должен быть сделан акцент на лидерстве и управлении проектами, поскольку от студентов ожидается, что они будут руководить группами тестировщиков, обеспечивая выполнение стратегии QA.
test report
1 test report
2 test report
3 test report
4 test report
протокол испытаний
Документ, содержащий необходимые сведения об объекте испытаний, применяемых методах, средствах и условиях испытаний, результаты испытаний, а также заключение по результатам испытаний, оформленный в установленном порядке.
[ ГОСТ 16504-81]
Тематики
Тематики
F. Procès-verbal d’essais
Документ, содержащий необходимые сведения об объекте испытаний, применяемых методах, средствах и условиях испытаний, результаты испытаний, а также заключение по результатам испытаний, оформленный в установленном порядке
5 test report
official report — официальный доклад; официальный протокол
6 test report
official report — официальный доклад; официальный протокол
7 test report
8 test report
9 test report
10 test report
11 test report
12 test report
13 test report
14 test report
15 test report
16 test report
17 test report
18 test report
19 test report
20 test report
См. также в других словарях:
test report — gaminio juslinės analizės protokolas statusas Aprobuotas sritis žemės ūkio ir maisto produktų sauga ir kokybė apibrėžtis Dokumentas, kuriame registruojami kiekvienos juslinės savybės individualūs vertintojų rezultatai ir galutinis gaminio… … Lithuanian dictionary (lietuvių žodynas)
test report — bandymo ataskaita statusas T sritis Standartizacija ir metrologija apibrėžtis Dokumentas, kuriame pateikiami bandymo rezultatai bei kita su juo susijusi informacija. atitikmenys: angl. test report vok. Prüfbericht, m rus. отчет испытаний, m pranc … Penkiakalbis aiškinamasis metrologijos terminų žodynas
test report — bandymų protokolas statusas T sritis Standartizacija ir metrologija apibrėžtis Dokumentas, kuriuo gamintojas laiduoja, jog pristatyti gaminiai atitinka užsakymo reikalavimus, ir kuriame jis pateikia gaminių bandymo rezultatus. atitikmenys: angl.… … Penkiakalbis aiškinamasis metrologijos terminų žodynas
accredited laboratory test report — akredituotosios laboratorijos bandymo ataskaita statusas T sritis Standartizacija ir metrologija apibrėžtis Bandymo ataskaita, kurioje bandymų laboratorija nurodo, kad ji yra akredituota atlikti bandymą, kurio rezultatus pateikia protokole, ir… … Penkiakalbis aiškinamasis metrologijos terminų žodynas
Test data exclusivity — refers to protection of clinical test data required to be submitted to a regulatory agency to prove safety and efficacy of a new drug, and prevention of generic drug manufacturers from relying on this data in their own applications.… … Wikipedia
Test-driven development — (TDD ) is a software development technique consisting of short iterations where new test cases covering the desired improvement or new functionality are written first, then the production code necessary to pass the tests is implemented, and… … Wikipedia
Test Card W — is a test card, an image used to determine the quality of a broadcast television picture. It is an updated 16:9 (1.78:1) widescreen version of Test Card F, which was created by BBC engineer George Hersee. Test Card W is similar to Test Card J,… … Wikipedia
Test unit — Test unitaire Pour les articles homonymes, voir Test. En programmation informatique, le test unitaire est un procédé permettant de s assurer du fonctionnement correct d une partie déterminée d un logiciel ou d une portion d un programme (appelée… … Wikipédia en Français
Test Money — (or Test Notes, Test Bills, Funny Money, Monopoly Money) are a part of the test apparatus that are often used with currency handling equipment, such as Automatic teller machines. While it is often desirable to use actual banknotes or coins in the … Wikipedia
Test d’amobarbital sodique intracarotidien — Test de Wada En neurologie, le test de Wada consiste à injecter un anesthésique (en général de l amobarbital sodique) dans l une des artères carotides internes (droite ou gauche) de façon à déterminer quel est l hémisphère cérébral dominant pour… … Wikipédia en Français
Test de wada — En neurologie, le test de Wada consiste à injecter un anesthésique (en général de l amobarbital sodique) dans l une des artères carotides internes (droite ou gauche) de façon à déterminer quel est l hémisphère cérébral dominant pour une fonction… … Wikipédia en Français
Тестовая документация и анализ требований
В преддверии старта курса «Game QA Engineer» публикуем текстовую расшифровку онлайн-интенсива, который провела Надежда Чертовских — руководитель отдела QA в компании BeresnevGames и преподаватель OTUS.
Цели интенсива:
познакомиться с основными видами тестовой документации;
проанализировать документ от game-дизайнера;
попрактиковать составление чек-листа.
Для начала давайте обсудим такой животрепещущий вопрос: почему сегодня на курсе «тестировщик игр» мы обсуждаем документацию?
Как тестировщик, который целый день только в игры играет и сообщает разработчикам об обнаруженных ошибках, связан с документацией? Какая вообще работа у тестировщика игры? Какие у тестировщика могут быть документы?
Существует распространённое заблуждение, что тестировщик игр целый день только и делает, что в игры играет. Но на самом деле это не так. Тестировщик в геймдеве точно такой же тестировщик, как и в любой другой сфере, и работает точно по такому же принципу, но продукт у него не web-страничка, не application на операционной системе, а игра (мобильная, консольная, десктопная).
Тестирование может быть автоматизированным и ручным
На интенсиве мы поговорим в целом об артефактах тестирования, с которыми работает тестировщик:
План тестирования (Test Plan)
Тест-кейс (Test Case)
Баг-репорт (Bug Report)
Отчёт о тестировании (Test Report)
Из этого мы можем сделать вывод, что тестировщик не только читает требования, которые подготовили к продукту, но и сам генерирует документы.
В ходе интенсива мы более подробно поговорили о 6 типах документов, которые перечислили выше, обсудили, какие из них полезные, какие используются чаще, какие меньше и составили чек-лист по требованиям.
План тестирования
План тестирование (далее ПТ) или тест-план – это большой документ, который чаще всего описывает весь объем работ по тестированию проекта либо части проекта (например, релиза или предрелизного билда). ПТ описывает, что будет тестироваться, в какие сроки, какими инструментами, какая команда, обязанности и ответственности каждого члена команды. Также часто в ПТ включается стратегия тестирования, график релизов на несколько ближайших спринтов. В зависимости от команды бывает разная степень детализации ПТ и его могут делать разные люди в команде. В каких-то компаниях ПТ делает менеджер, в каких-то middle-тестировщик, либо senior-тестировщик, либо тимлид отдела тестирования.
Всё, что мы далее обсудим по документам, которые генерирует тестировщик, может отличаться от компании к компании, от команды к команде. В зависимости от команды и компании форм-фактор всех документов может быть либо уже обговорён и установлен, либо, если вы приходите первым QA специалистом на проект, то вы сами устанавливаете, как удобно вам.
Форм-фактор у тест-плана может быть разный (схема, интеллектуальная карта и т.д.) и зависит от того, как команде будет удобнее взаимодействовать с документами.
Чаще всего ПТ требуется именно для людей, которые принимают решения по проекту, чтобы они поняли, что в следующий момент мы делаем: релизим билд или нужно подвинуть сроки, добавить к тестированию, убавить к каким-то другим срокам. И лучше всего не делать ПТ огромным, чтобы человек, который будет его читать, смог осилить весь объём. Если посмотреть примеры тест-планов в интернете — часто это одностраничная схема, чтобы все в общем и целом понимали, какой объем тестирование предстоит. Обычно план тестирования делается до начала тестирования и до момента релиза.
Таким образом План тестирования:
описывает стратегию тестирования, цели, график, оценку, результаты, а также ресурсы необходимые для тестирования;
имеет разную степень детализации;
имеет разный форм-фактор;
составляется не более, чем на 2-х страницах;
составляется до начала тестирования.
Пример тест-плана с сайта с сайта www.guru99.com
Тест-кейс
Тест-кейс можно сравнить с рецептом — это последовательность шагов, которые приводят к какому-то результату. Тест-кейс лучше не делать избыточным. Тестировщики чаще всего хорошо знают свой проект, поэтому досконально писать тест-кейс нет необходимости. Тест-кейс должен быть краткий и понятный, так чтобы другой тестировщик, либо другой специалист в команде смог быстро пройти по нему и проверить, что все происходит так, как нужно.
Тест-кейсы можно формировать в последовательный сценарий, чтобы проверить, как игрок пройдет по этому функционалу от начала до конца.
Тест-кейсы можно группировать в смысловые блоки.
Например, если в игре запускается какой-то ивент, формируется набор тест-кейсов для проверки этого ивента.
Тест-кейсы лучше писать по требованиям гейм-дизайнерского документа. Но, если функционал уже готов, а требований тест-кейсов по нему не написано, можно написать уже по факту. Лишним не будет.
Составляющие тест-кейса:
идентификатор (уникальный номер, по которому вы сможете найти этот тест-кейс и на него сослаться);
название сценария (какое-то краткое, но ёмкое);
ссылка на требования ГДД;
предусловия (опционально, если они требуются для тест-кейса);
фактический результат (опционально).
Пример тест-кейса
Чек-лист
Чек-листы можно сравнить со списком покупок, который мы формируем на проверку. Например, чек-лист на Smoke-тест, чтобы проверить, что игра запускается и весь функционал, который должен в игре отрабатывать отрабатывает, иконка приложения соответствует иконке нашего приложения. Также чек-лист может быть составлен на регрессионное тестирование и даже на тестирование требований.
Чек-листы чаще всего составляются без детализации и их можно скомпоновать в наборы и проверять тоже для любого функционала либо нового, либо регрессионного.
Чек-листы лучше сразу писать по требованиям (геймдизайнерскому документу) перед стартом тестирования функционала или по итогу.
Небольшой пример из игры нашей студии: есть поле для ввода имени питомца и есть несколько условий на этом поле: имя питомца должно состоять из более чем 2 символов и только в этом случае кнопка из серой неактивной станет зеленой активной и можно будет питомца наименовать. Мы начинаем формировать чек-лист к этому полю если количество символов больше 2 то кнопка принять становится активное, если меньше 2 не активно. Первые 2 пункта чек-листа, которые можно проверить.
На скриншоте мы видим, как игрок из Китая захотел назвать питомца очень коротким ёмким именем и, к сожалению, не смог это сделать и обращался в тех. поддержку. В результате ему пришлось выдумывать более длинное имя.
Ссылка на mindmap чек-лист для мобильной игры:
Баг-репорт
Баг-репорт оформляется, когда баг уже локализован и его можно повторить. Если баг плавающий, нужно пытаться его повторить или занести в систему, где фиксируются баги, как плавающий баг. Ключевой момент, что баг можно повторить и воспроизвести, только тогда его заносят в систему с багами, где хранятся баг-репорты. Если создать и оформить какой-то баг, и разработчик не сможет его воспроизвести, то тут появится множество вопросов.
Поэтому лучше всего сразу проверить на нескольких устройствах, если это возможно и посмотреть на разных операционных системах, на разных разрешениях экрана, то есть максимально локализовать проблему.
В баг-репорте обязательно должны быть:
Подробное описание проблемы – что, где, когда случилось.
Важность дефекта, который указывает тестировщик, а уже приоритет по исправлению этой ошибки указывает менеджер либо команда из разработчиков.
Условия воспроизведения – версия игры, версия операционной системы и другие уникальные условия, которые могут помочь разработчику быстро найти баг, устранить и передать задачу на тестинг.
Алгоритм воспроизведения – пошаговые предусловия предусловия, которые необходимы для воспроизведения бага.
Доказательства – скрины, видео, логи с устройств.
Скриншоты из разных систем, в которых баг-репорт можно вести. В разных компаниях в разных командах условия могут быть абсолютно разные, и где хранятся баг репорты — также зависит от компании.
Отчет о тестировании
Отчет о тестировании пишется, когда функционал уж проверен и релиз либо предрелиз показывает итог проделанной работы.
Отчет о тестировании может быть представлен как текст, таблица, график или диаграмма, если это позволяет инструмент.
Составляющая отчёта о тестировании:
Кто тестировал (состав команды).
Когда тестировал (даты проведения тестов).
Как тестировал (процесс тестирования, описание применяемых методов и технологий).
Какие возникли проблемы и как решились.
Инструкция
Инструкцию можно писать до, во время или после тестирования. Инструкцию никогда не поздно написать. Это помогает как новичкам, так и коллегам, которые работают в одной команде. С помощью инструкции можно быстро сориентироваться в проекте.
Например, вышел новый функционал. Лучше написать инструкцию, как этот функционал проверить, как переключаться, если проверка нового функционала подразумевает переключение между версиями или предусматривает какой-то сложный алгоритм проверки. Это экономит время на объяснения, когда требуется делегировать задачу либо в команду пришел новый человек и нужно его обучить.
Также инструкция помогает выгрузить старое и не потерять. Скорость выпуска релизов в геймдеве довольно высокая и часто есть необходимость вернуться к старому функционалу, который ранее уже тестировался, но прошло какое-то время и тестируется новый функционал, а нужно вернуться к проверке того старого. Поэтому лучше всего, чтобы было прописано, как тестировать, где тестировать, что и куда переключать. Лучше всего все в картинках, гифках или видео. Сегодня современные инструменты всё это позволяют сделать быстро и без проблем. Также ели есть возможность сохранять какие-то состояния проекта, состояния продукта, то лучше где-то всё это фиксировать и выкладывать в общем доступе.
Инструкции лучше писать сразу. Это позволяет избежать множество проблем в дальнейшем.
Где хранить:
Google Docs, Google Sheets
Zephyr, Test Management for Jira
Геймдизайнерский документ (ГДД, диздок)
В геймдизайнерском документе гейм-дизайнер пишет требования к продукту или к отдельному функционалу.
Детализация у геймдизайнерского документа может быть разная. Форм-фактор также может быть разным.
Существует несколько способов проверки требований к игре: по принципу Что? Где? Когда? или по принципу проверки на полноту, однозначность, непротиворечивость, тестируемость, необходимость, осуществимость.
После того как геймдизайнерский документ готов лучше всего, если его прочитают и вместе обсудят специалист по тестированию, разработчик и сам гейм-дизайнер.
Тестировщику в этом случае следует задавать следующие вопросы: не противоречит ли те требования, которые гейм-дизайнер написал, функционалу, который сейчас есть, не будут ли нововведения противоречить наративу, функциям и механикам, которые есть в игре сейчас.
Требования геймдизайнерского документы должны пониматься всеми однозначно, что исключает какого-либо двоякого толкования.
Важно смотреть на полноту содержания: все ли условия предусмотрены, все ли сценарии, которые могут возникнуть у игрока в связи с новым функционалом продуманы.
Разработчик смотрит на возможность реализации ГДД.
Также необходимо продумать, как новый функционал будет тестироваться, после того как разработчик его реализует.
Практическая часть интенсива. Мы попробуем сформировать чек-лист и вопросов гейм-дизайнеру по новому продукту на основе ГДД.
На картинке мы видим 3 скрина игры.
скрин – изображение и кнопка Play, при нажатии на которую, мы попадаем в игровой mod
скрин – на старте есть какое-то количество жизней и шагов
скрин – при проигрыше попадаем на экран проигрыша, где написано итоговое количество набранных за игру баллов и кнопка сыграть ещё.
Итоги интенсива:
Узнали, какие бывают виды документации у тестировщика игр.
Обсудили зачем тот или иной документ нужен.
Попрактиковались в создании чек-листа.
Список материалов для самостоятельного изучения: