Testflight что это такое

Сервисы дистрибуции мобильных приложений для iOS. Часть 1: TestFlight

С каждым годом становится всё очевиднее, что для распространения тестовых версий iOS-приложений нужны специализированные сервисы. Это актуально не только для компаний, занимающихся разработкой приложений в “промышленных масштабах”, но и для инди-разработчиков. Причины: увеличение количества устройств с “нестандартным”/”не кратным” размером экрана, отличия в архитектуре центрального и графических процессоров — всё то, что раньше было повседневностью для разработки под Android, теперь становится справедливым и для iOS.

Исторически самым популярным сервисом дистрибуции являлся TestFlight — практически идеал, как в техническом отношении, так и в юзабилити. Однако, после приобретения компанией Apple в начале 2014 года, сервис претерпел ряд неоднозначных изменений, которые с одной стороны сказались негативно на его позиции лидера, а с другой дали шанс альтернативным сервисам побороться за первое место и предложить как минимум равноценную замену, а может быть и что-то более удобное и функциональное.

В своей серии статей я собираюсь поделиться результатами сравнения нескольких сервисов дистрибуции и в результате помочь другим, кто стоит перед таким же вопросом выбора.

Система оценки: сервисы будут оценены по 10-балльной шкале по каждому из разделов (Регистрация и интеграция, Основной функционал, Дополнительный функционал, Continuous Integration). Суммарная оценка позволит определить победителя (итоговое заключение войдет в последнюю часть обзора).

TestFlight от Apple

Регистрация и интеграция

Пользователи из группы Admin обладают теми же правами, что и пользователи группы Technical, а также могут добавлять новых пользователей в список Internal Testers.

На данный момент установка или использование какого-либо специализированного SDK не требуется.

Основной функционал

Если сравнивать новую версию TestFlight с тем, что было доступно разработчикам ранее в рамках стандартных сервисов Apple, то она, в чем-то, несомненно, является шагом вперед. Так, например, количество тестеров увеличено с условных 100 до 1125 (из которых 100 — это доступные и раньше устройства для AdHoc распространения, 25 — это внутренние тестировщики (Internal Testers), а 1000 — внешние (External Testers)), причем если ранее привязка осуществлялась к устройству, то теперь уникальным идентификатором является Apple ID, а значит каждый тестер может проверить работу приложения на всех доступных ему (и, конечно, поддерживаемых приложением) устройствах.

Примечание (от 15 июня 2015): количество устройств, доступных при использовании AdHoc provision profiles с с 8 июня 2015 года было изменено со 100 суммарно, на 100 на каждое семейство устройств (изменение произошло после объявления на WWDC об объединении всех developers programs в одну).

Разница между внутренними и внешними тестировщиками заключается в дополнительном шаге, который добавляется во втором случае: тестовая версия приложения должна быть отправлена для обзора и одобрена специалистами Apple (Beta App Review). Причем первоначальный обзор будет проводиться более тщательно, а все последнующие могут проходить быстрее (но не обязательно). Это, конечно, накладывает определенные ограничения на процесс разработки и требует дополнительного планирования фаз тестирования приложения, с учетом неопределенности сроков прохождения обзора (как и в случае с обычным обзором приложений перед публикацие в AppStore, при отказе в публикации, повторная заявка рассматривается снова в порядке очереди).

Однако есть и некоторые уникальные возможности: так, например, клиент сервиса (приложение TestFlight) единственный, кто наверняка знает статус установки тестовой версии, альтернативные решения попросту не имеют возможности использовать системные функцие, позволяющие реализовать подобное.

Примечание: статус установки — смена индикации процесса установки, привычная пользователям AppStore. Когда поочередно статус меняется Get — Install — Installing — Open. В других сервисах дистрибуции эта цепочка выглядит так: Install — Installing — Install — приложения попросту не знают результат, был ли установлен тестовый дистрибутив или нет. В случае же с Apple TestFlight цепочка имеет привычный вид: Install — Installing — Open.

Иконка обновленного приложения TestFlight (правильнее будет сказать, что это абсолютно новое native приложение, разработанное в Apple). Ниже пример иконки тестовой версии приложения — оранжевая “точка” позволяет определить, что это не версия из AppStore.

“Страховка” Apple от обвинений в распространении спама.

Apple не разрешает загрузку дистрибутивов без изменения версии или номера сборки.

Достаточно лаконичная и понятная страница администрирования версий приложения для тестирования.

Письмо-приглашение для участия в тестировании, HTML-форматирование не слишком оптимизировано для мобильных платформ (справедливости ради, хочу отметить, что приложение Mail отображает такие письма корректно, но письма от других сервисов отображаются нормально и в OWA).

Приложение TestFlight: информация о доступном для тестирования приложении.

Приложение TestFlight единственное умеет определять результат установки тестовой версии (кнопка Install поменялась на Open) — преимущество, полученное с переходом к Apple.

Письмо с отправленным из приложения TestFlight отзывом. Кроме скудного форматирования и невозможности добавить вложения, можно отметить еще один недостаток: отправленные отзывы попадают только в почтовый ящик, в iTunes Connect эта информация не сохраняется и недоступна.

Резюмируя, можно сказать, что обновленная версия TestFlight просто работает. В данный момент она не имеет особых конкурентных преимуществ (речь идёт о функционале, а не неоспоримом преимуществе — принадлежности компании Apple, которое пока в большей мере является потенциалом).

Дополнительный функционал

На данный момент, к сожалению, компания Apple берет только числом, а не умением. Из явного преимущества можно отметить разве что гораздо большее количество бета-тестеров, которое можно задействовать для внешнего тестирования: на порядок больше, чем у всех остальных альтернативных решений (причина ясна: компания сама контролирует условия распространения приложений и имеет преимущество перед решениями третьих сторон).

Обновление (5 мая 2015): с релизом Xcode 6.3 разработчикам стал доступен Crashes Organizer. Новый функционал, несомненно, хороший признак того, что Apple продолжает развивать свои сервисы, но, к сожалению, компания всё ещё отстаёт от других сервисов:

When you open the Crashes organizer, Xcode begins refreshing the crash reports for your apps. Xcode downloads the top crash reports—crash reports with the most number of occurrences on unique devices—that occurred during the past two weeks. However, there may be up to a three day delay between when you first distribute your app and when crash reports are available in Xcode.

Три дня задержки и период архивного доступа в две недели выглядит несколько обескураживающе.

Continuous Integration

Примечание: описанные далее нюансы использования сервисов как части непрерывной интеграции (continuous integration) в данном обзоре подразумевают, что она будет делаться на основе решения, предлагаемого компание Apple. То есть при помощи Mac OS X Server и Xcode bots — подробно на организации такой интеграции я не буду останавливаться, возможно это станет темой для отдельной статьи. Желающие могут ознакомиться с темой самостоятельно, например, обратившись к официальному руководству от Apple.

Каким бы странным это не казалось, но на данный момент не существует возможности для публикации приложений в Apple TestFlight в автоматическом режиме. Я надеюсь, что этот большой недостаток будет исправлен компанией в одном из ближайших крупных обновлений Xcode, тем более что в оригинальном TestFlight такая возможность имелась.

Итого суммарная оценка по всем разделам: 15 баллов.

Источник

Каждому по тысяче: еще раз о Testflight

Трудно отыскать iOS-разработчика, никогда не пользовавшегося для тестирования своих приложений сервисом TestFlight, или хотя бы не слышавшего о нем. Его популярность в феврале этого года подтвердила сама Apple, купив компанию Burstly, благодаря которой в свое время появился TestFlight.

Как известно, Apple не из тех, кто бросает деньги на ветер — 9 сентября Apple представила TestFlight в App Store уже под своим брендом.

До прошлой недели некоторые разработчики могли пользоваться сервисом, скачав приложение, после релиза iOS 8.1 сделала инструментом общедоступным, значительно расширив при этом количество бета-тестеров, которых каждый девелопер может пригласить, разослав им через iTunes Connect приглашения со своего email-адреса.

На сайте Developer Center открылся специальный раздел TestFlight, который официально стал частью инструментария для разработки iOS-приложений и основным ресурсом для бета-тестеров, где они могут прямо из приложения скачивать новые билды тестируемых игр и приложений, и отправлять отчеты. Основные отличия от TestFlight, которым мы пользовались и год, и два назад:

Получив инвайт для бета-тестирования приложения в TestFlight и используя ссылку, тестеры скачивают официальное приложение сервиса из App Store, минуя этапы поиска и отсылки разработчику UDID девайса для участия в тестировании и последующей установки специального профиля на свое устройство. О появлении нового билда тестируемого приложения также уведомит TestFlight (ранее для этой цели использовались сообщения по e-mail).

Разработчик может одновременно тестировать до 10 различных приложений. При загрузке бета-сборки из Xcode добавляем и имена и email будущих тестеров, которых приглашаем в iTunes Connect. Инструкции по подготовке беты и настройки листа тестеров в видеотуториале – здесь и здесь.

Тестеры делятся на две группы: внутренние (25 членов команды и особо доверенных лиц с более широкими техническими полномочиями, каждый может использовать до 10 устройств) и внешние – все остальные.

Как только разработчик счел приложение готовым для внешнего тестирования, он приглашает до 1000 новых тестеров. Возможность открыть тысяче сторонних бета-тестеров доступ к приложению разработчик получает после прохождения Beta App Review, подтверждающего соответствие испытываемой программы App Store Review Guidelines – то есть правила те же, что и для публикаций пользовательских версий приложений. Для тестирования своими силами, разработчик не обязан посылать приложение на Beta App Review.

Чем больше тестеров – тем лучше. Теперь можно тестировать программы с помощью не только довольно узкого круга искушенных экспертов, но и широкой пользовательский аудитории, каждый из которой со своей колокольни способен подсказать то, чего вашему приложению, возможно, как раз остро недостает.

Источник

Тестирование приложений с помощью TestFlight

Начало работы

Для тестирования бета-версий приложений и блиц‑приложений с помощью TestFlight вам необходимо принять приглашение от разработчика по электронной почте или в виде общедоступной ссылки, а также иметь устройство для тестирования приложения. У вас будет доступ только к тем сборкам, которые вам предоставит разработчик.

Если вы участник команды разработчика вам может быть предоставлен доступ ко всем или определенным сборкам.

Требуемые платформы

Доступные языки

Приложение TestFlight для iOS и tvOS доступно на следующих языках: английский (Австралия), английский (Великобритания), английский (США), арабский, венгерский, вьетнамский, греческий, датский, иврит, индонезийский, испанский, испанский (Латинская Америка), итальянский, каталанский, китайский традиционный, китайский упрощенный, корейский, малайский, немецкий, нидерландский, норвежский, польский, португальский, португальский (Бразилия), румынский, русский, словацкий, тайский, турецкий, украинский, финский, французский, французский (Канада), хинди, хорватский, чешский, шведский, японский.

Установка и тестирование бета-версий приложений

Каждая сборка доступна для тестирования в течение 90 дней со дня ее загрузки разработчиком. Оставшийся срок тестирования отображается под названием приложения в TestFlight. TestFlight будет каждый раз оповещать вас о появлении новой сборки вместе с указаниями целей тестирования. В TestFlight 3 или новее можно также включить автоматические обновления, чтобы последние бета-версии сборок устанавливались автоматически.

Установка

Для начала установите TestFlight на устройстве, которое будет использоваться для тестирования. Затем примите приглашение, полученное по электронной почте или в виде общедоступной ссылки, чтобы установить бета-версию приложения. Бета-версию приложения можно установить на 30 устройствах.

Установка бета-версии приложения для iOS или iPadOS с помощью приглашения, полученного по электронной почте или в виде общедоступной ссылки

Установка бета-версии приложения для macOS с помощью приглашения, полученного по электронной почте или в виде общедоступной ссылки

Установка бета-версии приложения для tvOS с помощью приглашения, полученного по электронной почте

Установка бета-версии приложения для tvOS с помощью приглашения, полученного в виде общедоступной ссылки

Установка бета-версии приложения для watchOS с помощью приглашения, полученного по электронной почте или в виде общедоступной ссылки

Тестирование

Тестирование приложений для iMessage (в iOS либо iPadOS 10 или новее)

Тестирование бета-версий блиц-приложений (в iOS либо iPadOS 10 или новее)

Приняв приглашение на участие в тестировании приложения, полученное по электронной почте или в виде общедоступной ссылки, вы увидите в TestFlight возможность протестировать блиц-приложение. Вы можете установить на устройстве приложение или блиц-приложение (но не оба сразу) и в любой момент заменить одно другим. Если на вашем устройстве установлено приложение, во время тестирования блиц-приложения такое приложение будет заменено, часть его данных может быть утеряна. Приложение можно установить заново, нажав «Установить» на странице приложения в TestFlight.

Управление автоматическими обновлениями

После установки TestFlight 3 или новее для iOS, iPadOS или tvOS либо TestFlight для macOS вы получите предложение включить автоматические обновления. Это позволит автоматически устанавливать последние доступные бета-версии сборок. Вы будете получать уведомления в TestFlight об установке новых сборок на устройстве. Автоматические обновления можно отключить в любой момент.

Используйте TestFlight для изменения настроек автоматического обновления для тестируемых бета-версий всех приложений.

Примечание: эта настройка применима ко всем новым сборкам бета-версий приложений. Бета-версии приложений, для которых автоматические обновления настроены на уровне отдельных приложений, затронуты не будут.

TestFlight для iOS или iPadOS

TestFlight для macOS

TestFlight для tvOS

Используйте TestFlight для изменения настроек автоматического обновления для тестируемых бета-версий отдельных приложений.

TestFlight для iOS или iPadOS

TestFlight для macOS

TestFlight для tvOS

Тестирование сборок, относящихся к предыдущим версиям и группам сборок

При просмотре приложения в TestFlight по умолчанию отображается последняя доступная сборка. Однако вы можете тестировать и любые другие доступные сборки.

Если на устройстве уже установлена версия из App Store приложения, эту версию заменит бета-версия приложения. После загрузки бета-версии рядом с названием приложения появится оранжевая точка, указывающая на то, что это бета-версия.

Если вы примете приглашение TestFlight, полученное в виде общедоступной ссылки, ваше имя и адрес электронной почты не будут видны разработчику. Однако он сможет видеть количество сеансов и сбоев, день установки приложения и последнюю установленную версию.

TestFlight для iOS и iPadOS

TestFlight для macOS

TestFlight для tvOS

Отправка отзывов

Во время тестирования бета-версии приложения или блиц‑приложения вы можете отправить разработчику отзыв об обнаруженных проблемах или рекомендации на основании содержимого поля «Что тестировать». Информация, отправленная через форму обратной связи в приложении TestFlight, также будет передана в Apple в соответствии с условиями сервиса TestFlight.

Приложения для iOS, iPadOS или macOS

Вы можете отправить отзыв через приложение TestFlight или непосредственно через бета-версию приложения или блиц‑приложения, сделав снимок экрана, и сообщить о сбое, когда он произойдет. Если вы присоединились к тестированию с помощью общедоступной ссылки, вы можете не предоставлять адрес электронной почты или иную персональную информацию разработчику. Apple будет также получать все отправленные вами отзывы и сможет привязать их к вашему Apple ID.

Отправка отзыва через приложение TestFlight

Для iOS или iPadOS

Для iOS 12.4 или более ранней версии

Если на вашем устройстве установлена iOS 12.4 или более ранней версии, нажмите «Отправить отзыв о бета-версии», чтобы написать электронное письмо разработчику. Сообщение с отзывом содержит подробную информацию о бета-версии приложения и вашем устройстве с iOS. Кроме того, вы можете указать дополнительную информацию, например приложить необходимые снимки экрана и описать шаги, которые требуется повторить, чтобы воспроизвести ошибки. Адрес вашей электронной почты будет виден разработчику при отправке сообщения с отзывом через приложение TestFlight, даже если вы приняли приглашение с помощью общедоступной ссылки.

Примечание. Вы можете перетянуть снимки экрана в текстовое поле обратной связи.

Отправка отзывов через приложение

Сделав снимок экрана во время тестирования бета-версии приложения или блиц‑приложения, вы можете отправить его вместе с отзывом непосредственно разработчику, не прекращая работу с приложением или возможностью блиц‑приложения. Разработчики могут отказаться от получения таких отзывов, поэтому данная опция будет доступна только в том случае, если разработчик ее включил.

Для iOS или iPadOS

Отправка информации о сбоях

При возникновении сбоя во время тестирования бета-версии приложения или блиц‑приложения вы получите уведомление с запросом на отправку сведений о сбое разработчику через TestFlight. Разработчики могут отказаться от получения таких отзывов, поэтому данная опция будет доступна только в том случае, если разработчик ее включил.

Когда отобразится уведомление о сбое для TestFlight для iOS или iPadOS, нажмите «Поделиться». По необходимости добавьте комментарий, затем нажмите «Отправить».

Когда отобразится уведомление о сбое для TestFlight для macOS, нажмите «Сообщить». По необходимости добавьте комментарий, затем нажмите «ОК», «Отправить» или «Открыть повторно».

Приложения для tvOS

Чтобы отправить отзыв о приложении для tvOS, откройте TestFlight, перейдите на страницу приложения, перейдите в раздел «Информация», чтобы посмотреть адрес электронной почты разработчика и отправьте ему сообщение. Укажите максимально подробную информацию, включая снимки экрана и описание шагов, которые требуется повторить, чтобы воспроизвести обнаруженные ошибки. Помните, что ваш адрес электронной почты будет виден разработчику при отправке сообщения с отзывом через приложение TestFlight.

Связь с разработчиком

Если вы хотите связаться с разработчиком во время тестирования бета-версии приложения по причине, не относящейся к отзывам, вы можете просмотреть его адрес электронной почты. Перейдите на страницу приложения в TestFlight, зайдите в раздел «Информация» и нажмите «Подробнее о программе». Там вы увидите адрес электронной почты разработчика.

Отказ от участия в тестировании

Если вы не примете приглашение, отправленное по электронной почте, бета-версия приложения установлена не будет. Тогда вы не попадете в список тестировщиков, а Apple не предпримет никаких действий в отношении вашего адреса электронной почты. Кроме того, вы можете отписаться с помощью ссылки в нижней части письма с приглашением, чтобы уведомить разработчика о желании исключить себя из списка. Если вы приняли приглашение, но больше не хотите участвовать в тестировании приложения, вы можете исключить себя из числа тестировщиков, нажав «Прекратить тестирование» в разделе «Информация» на странице приложения в TestFlight.

Конфиденциальность и персональные данные

Во время тестирования бета-версий приложений или блиц‑приложений в TestFlight Apple будет собирать и отправлять данные о сбоях, ваши персональные данные, такие как имя, адрес электронной почты, данные об использовании, а также все отзывы, отправленные вами разработчику. Информация, отправляемая напрямую разработчику посредством электронной почты, не будет отправляться Apple. Разработчику разрешено использовать эту информацию исключительно в целях улучшения своего приложения и запрещено передавать ее сторонним лицам. Apple может использовать эту информацию для усовершенствования приложения TestFlight.

Apple хранит данные TestFlight в течение 1 года. Для просмотра и управления своими данными, хранящимися у Apple (в том числе переданными через TestFlight), перейдите в раздел Данные и конфиденциальность. Для получения дополнительной информации об обращении разработчика с вашими данными ознакомьтесь с политикой конфиденциальности разработчика. Запросы на получение доступа к вашим данным TestFlight или их удаление направляйте непосредственно разработчику.

Информация, предоставляемая при использовании TestFlight

При использовании TestFlight следующая информация собирается Apple и предоставляется разработчику. Если вы приняли приглашение только с помощью общедоступной ссылки, ваше имя и адрес электронной почты не будут видны разработчику.

Предоставляемые данные при отправке отзыва

При отправке отзыва через приложение TestFlight или отчетов о сбоях или снимков экрана через бета-версию приложения происходит отправка следующей дополнительной информации. Эта информация собирается Apple и предоставляется разработчику. Apple хранит эти данные в течение 1 года.

Источник

Как разработчики под носом у Apple создали альтернативный App Store

У App Store, в отличие от Google Play, никогда не было альтернатив. Apple не только не приветствовала их появление, но и всячески этому препятствовала. В Купертино считали, что пользователи должны скачивать только безопасный софт, который соответствует установленным стандартам. Поэтому в компании был образован специальный отдел цензоров, которые проверяют приложения, попадающие в App Store, чтобы гарантировать своим клиентам высокое качество и отсутствие вредоносных скриптов. Правда, ушлые разработчики нашли, как выйти и из этой ситуации.

TestFlight давно превратился в единственный альтернативный магазин приложений для iOS

TestFlight (скачать) – это тестовая платформа Apple для приложений, где разработчики могут размещать свои программы, чтобы протестировать их на узкой аудитории пользователей непосредственно перед публикацией в App Store. Но если раньше количество участников тестирования было ограничено на отметке в 100 человек, то со временем Apple подняла планку до 10 000. В результате TestFlight превратился в своего рода альтернативный каталог приложений с менее строгими требованиями, чем и воспользовались многие разработчики.

Зачем нужен TestFlight

TestFlight доступен в App Store и его могут скачать любые пользователи

Пользователи требуют у разработчиков расширения функциональных возможностей их приложений, но те зачастую не могут на это пойти из-за установленных ограничений. Но в TestFlight многие правила не действуют, потому что Apple делает для них скидку, учитывая, что это тестовые приложения, которые перед публикацией в App Store всё равно подгонят под установленные гайдлайны. Другое дело, что хитрые разработчики повадились размещать в TestFlight свой софт как в конечной точке – без намерений вывести его в App Store. Поэтому всё, что нужно пользователям, — это получить прямую ссылку на скачивание, и наслаждаться полулегальной программой на iOS.

Особенно разработчиков привлекает полное отсутствие комиссионного сбора. Несмотря на то что приложения в TestFlight могут включать в себя встроенные покупки, Apple не будет брать с них комиссию, хотя платежи и проходят через App Store. А ведь есть ещё и другие преимущества в виде возможности добавить в приложение ссылки на другие приложения и игры, не размещённые в официальном каталоге. Именно это, кстати, и сделала Microsoft, когда тестировала игровой сервис xCloud, который в итоге не допустили к публикации в App Store.

Аналог App Store

Да, принять участие в «тестировании» приложения из TestFlight могут одновременно не больше 10 000 человек, что может показаться откровенно маленькой цифрой. Всё-таки многие именитые студии рассчитывают на миллионные аудитории, ведь только в этом случае, по их мнению, программа или игра может оправдать затраты на разработку и продвижение. Однако в TestFlight, как правило, публикуются так называемые андеграундные разработчики, которые создают узконаправленное ПО, и 10 тысяч пользователей им обычно хватает.

В TestFlight не действуют те же требования, что и в App Store

Сейчас Apple проверяет приложения, которые публикуются в TestFlight, спустя рукава. Цензоры просто убеждаются в том, что программа рабочая и не содержит вредоносных скриптов, позволяя ей довольно просто попасть на площадку. При этом зачастую обновления, которые они выпускают для софта в TestFlight, проверке уже не подлежит. Во всяком случае, некоторые разработчики, которые рискнули проверить это и добавили в свои программы запрещённые функции, убедились, что за этим действием не последовало удаления.

Telegram потребовал у Еврокомиссии разрешить альтернативы App Store

Сейчас разработчики опасаются, что Apple начнёт жёстче контролировать TestFlight, потому что он уже обрёл невероятную популярность у тех, кто хочет обойти правила App Store. Несмотря на то что сама компания не считает TestFlight альтернативным магазином приложений, где должны действовать те же правила, что и в основном, взять его под контроль она может. Конечно, комиссию за транзакции в тестовых приложениях вряд ли введут, однако начать следить за функциональностью софта могут ещё как.

Источник