A/B тесты для Google Play и App Store

Если вас интересует A/B тесты в приложениях для Google Play и App Store - то эта статья именно для вас. Здесь мы рассмотрим следующие вопросы:

• Что такое A/B тестирование
• Кому необходимо проводить А/В тесты
• Планирования и процесс A/B тестов
• Анализ и выводы, исходя из результатов A/B тестов

A/B-тестирование — это способ избавиться от догадок, пробуя различные версии в естественной среде в течение короткого периода времени, чтобы увидеть, какая из них работает лучше всего, а затем используя лучшую версию в долгосрочной перспективе.

Что такое A/B тестирование

Очень часто в среде специалистов по оптимизации и маркетинга можно встретить рекомендацию - необходимо тестировать, проверьте А/В тестами. Самое время разобраться,  что это такое и зачем их использовать в своей стратегии ASO оптимизации и продвижения. Если текстовая часть оптимизации приложения отвечает за - найти приложение или игру в магазине по релевантным поисковым запросам, то визуальная оптимизация отвечает за целевое действие, что по сути и является основной задачей маркетинга мобильных игр и приложений. Именно визуальные элементы отвечают за конверсию, то есть установку приложения. Дальше в игру уже вступает само качество приложения, его интерфейс, продуманность и способность решить проблемы пользователя, но сейчас мы не про это.

Тестирование помогает нам узнать точные предпочтения пользователей. В результате этого процесса мы будем иметь точные данные (а не только наши предположения), сколько пользователей установило ту или иную версию метаданных нашей игры или приложения. И раз мы уже упомянули метаданные, стоит уточнить, что именно может быть объектом А/В тестирования:

• текстовые поля (краткое и полное описание в Google Play)

• иконка
• скриншоты (кроме оформления можно протестировать и фокусные надписи)
• промо-видео

Если мы обратимся к теории, то A/B-тестирование — это сплит-тестирование, которое относится к рандомизированному процессу экспериментирования в двух версиях варианта. Теперь давайте попробуем перевести это на более понятный язык.

A/B-тестирование для ASO — это тестирование двух (или более) вариантов элемента на странице вашего приложения (например, альтернативных версий скриншотов или иконки), чтобы определить, какой из них больше всего привлекает посетителей. Пользователи, которые могут участвовать в A/B-тестах это:

• Посетители, которые находят ваше приложение на вкладках «Сегодня», «Игры» и «Приложения».
• Посетители, которые видят ваше приложение при поиске по ключевому слову, по которому оно ранжируется.
• Все посетители, которые так или иначе попадают на страницу вашего приложения.

Почему A/B-тестирование важно в процессе ASO оптимизации?

A/B-тестирование позволяет вам принимать решения на основе данных, чтобы определить стратегию ASO, которая приведет к увеличению коэффициента конверсии вашего приложения.

Более того, A/B-тестирование — это возможность понаблюдать за тем, как ведет себя получаемый вами трафик . Это поможет вам лучше понять ожидания вашего целевого сегмента рынка, чтобы вы могли соответствующим образом настроить страницу своего приложения. Вариант, который показал себя хуже, чем исходная версия, может сказать вам, что не нравится вашей аудитории. Это ценная информация, которую можно использовать в любых ваших будущих маркетинговых усилиях - рекламе, подготовки промо-видео и даже в дальнейших итерациях текстовой оптимизации.

Кому необходимо проводить А/В тесты

Так как этот процесс является неотъемлемой частью успешной стратегии продвижения, то он может проводиться:

• командой маркетинга
• разработчиком
• ASO специалистом.

Любая часть команды по развитию и продвижения приложения может стать инициатором тестирования, в зависимости от распределения обязанностей и участков ответственности. 

Причина тестирования всегда одна - вас не устраивает конверсия и вы хотите это исправить.

Планирования и процесс A/B тестов

Подготовка к А/В тестированию это чуть ли не половина решения проблемы. Грамотно проведенные тесты помогут выявить проблему, а чем более точно вы ее определите тем меньше средств и времени потратите на ее исправление. Ниже представлены  основные шаги по подготовке и проведения А/В тестов мобильных игр и приложений:

1. Подготовка гипотезы. Почему в данные момент приложение демонстрирует низкую конверсию? Определение возможных проблем и есть база для ваших гипотез, которые будут проверяться тестированием. Источником данных могут служить ваше мнение, мнение команды, информация от пользователей (отзывы послужать вам и здесь).
2. Следом, вы определяете элементы, которые будете тестировать - будет ли это новая иконка, скриншоты, фокусные надписи или добавление промо-видео на страницу приложения.
3. Разработайте точечные изменения этих элементов, но достаточно заметные для пользователей. Конечно учитывайте такой показатель, как посещаемость вашей страницы приложений. При низкой посещаемости точность тестов будет желать лучшего.

Итак, что представляет собой подготовленые гипотезы для А/В тестов?

Самое главное определить что будет тестироваться и в каких вариантах. Если в один тест вы проведете множество изменений - новая иконка, обновленные скриншоты и краткое описание, то как вы в итоге поймете, какое из изменений привело к повышению конверсии? Следовательно 1 гипотеза - 1 элемент.

Основные составляющие А/В тестов:

Элемент тестирования - иконка, скриншоты, видео, текстовые поля.

Гипотезы - изменили цветовую схему иконки, или обновили фокусные надписи, или использовали новые скриншоты из пользовательского интерфейса приложения.

Таким образом в результате тестирования у вас будет четкое понимание какие изменения вызывают положительную, а какие отрицательную реакцию пользователей.

Пользователи - основные участники тестирования. Вы имеете возможность настроить различные группы пользователей, которые станут участниками теста.

Продолжительность  - продолжительность тестов зависит от объема трафика, который получает ваше приложение.

Процесс А/В теста в Google Play

Место проведения - Google Play Console, Store Listing Experiments.

Тесты для Android очень удобно проводить в самой консоли, выбрав из предложенного списка - обратите внимание, что в Google Play нельзя протестировать Название. Можно сравнить до 3 вариантов с исходной версией. Вы можете одновременно запускать только один эксперимент со страницей приложения для каждого приложения и до пяти экспериментов, если вы добавили локализованные графические ресурсы на определенных языках. Количество экспериментов неограниченно.

Процесс А/В теста в App Store

Апдейты от Apple позволяют нам теперь проводить эксперименты без использования сторонних сервисов.

Место проведения - App Store Connect, Product Page Optimization

Количество экспериментов ограничено 3 продуктовыми страницами приложения. Можно выбрать локализации, так как по умолчанию будут выбраны все локализации. Длительность тестов будет составлять 90 дней, но его можно остановить вручную.

Учтите, что тестовые метаданные страницы продукта должны пройти ревью стора, перед стартом теста.

Анализ результатов A/B-тестов

A/B-тестирование в ASO оптимизации имеет конечную цель - улучшить:

1. Коэффициент конверсии
2. Видимость приложения

В частности, применяя этот итеративный процесс к нашей стратегии ASO, мы можем определить, какой из этих элементов приведет к улучшению показателей:

• Иконка
• Скриншоты 
• Предварительный просмотр видео
• Заголовок
• Подзаголовок или краткое описание 

 Обязательно учитывайте:

• Объекты, цели и гипотезы должны быть установлены до проведения теста , чтобы иметь более более полную и точную картину эксперимента.
• Размер пользовательской выборки должен быть равен для двух  версий.

Итогом A/B тестирования становиться четки отбор и комбинация элементов текстовой и визуальной оптимизации, что приводит к увеличению конверсии. Не пренебрегайте тестами, так как именно конверсия интересует нас с точки зрения эффективности ASO оптимизации.

Напомним вам, про основные ошибки при проведении эксперимента:

1. Слишком короткий период тестирования - из практического опыта уже известно, что эксперимент должен длиться минимум 7 дней. При этом старайтесь чтобы в этот период попали и выходные и будние, а вот периода праздников лучше избежать - для чистоты эксперимента.
2. Экстраполяция результатов А/В тестов одного магазина приложений на другой. Как в случае и оптимизацией, это может быть неудачным решением - пользовательское поведение в различных сторах также разное.
3. Влияние других факторов на результаты тестов. Если у вас на момент одного эксперимента будет проходить платное продвижение, а во время другого - нет, то и результаты в итоге будут сомнительно полезными. Помните про равные значения трафика для всех экспериментов.

Вцелом - это все, что вам нужно знать про проведение A/B тестов. Консоли разработчиков в обоих магазинах представляют вам все возможности для этого, главное соблюдайте основные правила и не допускайте ошибок. Если в какой-то момент, вы сомневаетесь в необходимости проведения экспериментов, то посмотрите на ваши показатели индексации и конверсии. Если пользователи легко могут найти ваше приложение по различному пулу релевантных запросов и вы находитесь вверху поисковой выдачи, но установки не происходит - это первый звоночек для работы с визуальными элементами, и тогда этот короткий гайд именно для вас.

Оптимизируйте и экспериментируйте💙