7 Пагубных Ошибок A / B-Тестирования в AppStore - Медиана
Четверг, 25 июля

7 Пагубных Ошибок A / B-Тестирования в AppStore

Аудио-версия статьи

Типичные недостатки попыток оптимизации в App Store (ASO) и как их избежать

Автор — Binh Dang

Время прочтения — 14 минут

Фото: HubSpot
Фото: HubSpot

A/B-тестирование, несомненно, является жизненно важной частью любой успешной стратегии по оптимизации AppStore (ASO). Это один из лучших способов маркетологов узнать, как увеличить коэффициент конверсии (CVR) своих приложений в магазине приложений. Как и другие аспекты мобильного маркетинга, A/B-тесты или исследования в магазине приложений нуждаются в хорошем планировании. Хотя многие маркетологи и проводят индивидуальные тесты, очень немногие используют эффективную долгосрочную стратегию для их оптимизации.

По крайней мере в моей карьере это реальная ситуация из опыта двух лучших европейских консалтинговых компаний по маркетингу приложений. Работая с несколькими командами для десятков приложений, я видел сотни A/B-тестов. Они часто руководствуются фрагментированными, неэффективными и недолговечными принципами, которые делают деятельность CRO (оптимизация коэффициента конверсии) не вдохновляющей, беспорядочной, дезориентированной и запутанной.

ASO имеет дело со многими движущимися фрагментами, и их трудно проверить без устойчивой стратегии (Изображение Webkick)
ASO имеет дело со многими движущимися фрагментами, и их трудно проверить без устойчивой стратегии (Изображение Webkick)

Тем не менее, эта устрашающая реальность вызвана базовыми ошибками, которые, будучи выявлены однажды, могут быть планомерно исправлены. Ниже приведен список первых семи из них ( «Семь Смертных Грехов A/B-тестирования»), а также способы исправления каждой.

1. Тестирование для неправильной цели

Многие маркетологи имеют неверную мотивацию для тестирования. Из-за сильной связи между A/B-тестированием и CRO, они проводят исследования по поиску путей подъема CVR. Тестирование направлено не на это. Вместо этого маркетологи должны обучаться. Другими словами, тестирование — это проверка идеи, а не её преобразование.

Например, если Вы тестируете скриншоты с красным и синим фоном и надеетесь, что красный выиграет, да так, что у вас будет увеличение CVR, Вы совершаете именно эту ошибку. Почему? Вы фокусируетесь на одноразовом процентном результате вместо долгосрочного вопроса: «Является ли красный подходящим для скриншотов?» Полученный при проведении исследования опыт значит больше, чем результат.

Конвертация — это просто рыба, валидация — это инструмент для ловли многих (изображение Displate)
Конвертация — это просто рыба, валидация — это инструмент для ловли многих (изображение Displate)

Причина, по которой так часто совершается столь базовая ошибка, заключается в том, что её принимают как должное. Большинство экспертов в ASO, которых я знаю, уже перестали задумываться, почему они проводят тестирование. В конце концов, этот вопрос уходит на второй план. Поэтому, еще до этапа разработки эксперимента, Вам нужно задать эти четыре вопроса:

 Может ли CVR приложения подняться еще выше?

 Что именно мешает ему подняться выше?

 Какие преобразования могут устранить это препятствие?

 Откуда ты знаешь, можно ли им доверять?

Ответ: проверьте, подтвердите, изучите, повторите.

2. Тестирование неподходящих ресурсов

Вторая серьезная ошибка A/B-тестирования в ASO вращается вокруг приоритетов того, что вы тестируете. Различные средства app store имеют различный потенциал CVR, поэтому некоторые из них стоит исследовать тщательнее, чем другие. Поскольку время и ресурсы часто ограничены, тестирование того, что стоит больше, является обязательным.

Разные магазины, отличающиеся средства для тестирования, каждый с разным потенциалом (источник: StoreMaven)
Разные магазины, отличающиеся средства для тестирования, каждый с разным потенциалом (источник: StoreMaven)

К сожалению, более слабые ресурсы (например, описания) иногда тестируются перед жизненно важными (например, скриншоты), хотя вряд ли специально. Это можно предотвратить, отсортировав все по четырехуровневым группам, которые помогут организовать исследование на основе степени значимости каждой:

Уровень 1: Скриншоты и Видео. Первоочередные средства. Скриншотыявляются наиболее проверяемым, масштабируемым и технологичным визуальным ресурсом. К тому же визуальный более эффективен, чем текстовыйВидео обладают наибольшим потенциалом повышения CVR среди всех средств (возможно 40% от одного изменения).

Уровень 2: Метаданные, индексированные по ключевым словам.Текстовые ресурсы, ключевые слова которых индексируются алгоритмами ранжирования поиска . Включают в себя: названия, субтитры (iOS), краткое описание (Android) и длинное описание (доступно в обоих магазинах, однако индексируется только в Google Play). Их уровень CVR обычно ниже, чем визуальные активы, но они поддерживают оптимизацию ключевых слов (поиск).

Уровень 3: Остальные визуальные элементы. Логотип приложения, графический компонент (Android) и оформление страницы продукта (Только для iOS и нескольких привилегированных приложений). Хотя они и имеют большое влияние на CVR, их тестируемость не очень высока. Например, логотип слишком мал и ограничен целями брендинга, графический элемент не виден без видео, а обложка страницы продукта может быть протестирована только один раз и даже не доступна большинству приложений.

Уровень 4: Остальные метаданные. Другие тексты с потенциалом CRO: рекламный текст (iOS), длинное описание (версия iOS, обеспечивающая меньше вариантов формата, нежели Android) и примечания к выпуску, или раздел «Что нового». Они полезны, но не существенны: их ключевые слова не индексируются, влияние CVR невелико (например, не многие пользователи читают примечания или длинные описания в принципе). В основном они предназначены для iOS, протестировать которую намного сложнее, чем Android (более подробно в следующем разделе).

Разделив ресурсы на уровни, вы получите более четкое представление об их приоритетности и сможете легко решить, какие именно из них следует протестировать.

3. Тестирование не на тех платформах

Даже при выборе правильного ресурса магазина приложений иногда возникают технические трудности с самим тестированием или платформой, на которой Вы запускаете тесты A/B. Из-за отсутствия единой платформы тестирования для всех ресурсов и магазинов приложений, решение о том, где проводить A/B-тестирование, может быть затруднительным. В случае неправильного выбора результаты тестирования и данные CRO могут быть неверно истолкованы и интерпретированы.

Чтобы выявить и избежать этой ошибки, Вам нужно понять, какие именно платформы являются подходящими. Вот пять наиболее распространенных вариантов для рассмотрения:

Консоль Google Play, с Store Listing Experiments (SLE)

Это, безусловно, лучшее место для отраслевого тестирования, потому что:

 Она бесплатна.

 Подлинная форма раздельного тестирования — объективная и более надежная.

 Встроена непосредственно в консоль — более эффективно.

Пример эксперимента с листингом магазина от Storemaven — более подробная информация от Google здесь
Пример эксперимента с листингом магазина от Storemaven — более подробная информация от Google здесь

Однако консоль Google Play поддерживает только Android-приложения и до пяти параллельных тестов одновременно. Она также не позволяет Вам проверить название или увеличить CVR выше 90%.

Некоторые ошибки, которые можно совершить, работая с SLE:

— Принимать результаты как должное. 90% статистической значимости часто означает 10% погрешности. Это очень много. Интерпретируйте результаты с осторожностью.

— Разработка титульных тестов. Этот ресурс не поддерживается вовсе. Либо экстраполируйте из изучения других средств, либо тестируйте где-то еще.

SLE — это быстро, легко, дешево и очень научно. Она подходит для большинства потребностей CRO в Play Store. Однако недостаточно полагаться только на одну платформу.

Поисковые объявления Apple, с Creative Set Testing (CST)

Это не совсем платформа для A/B-тестирования. Это функция поисковой рекламы, которая позволяет тестировать различные творческие наборы (в основном скриншоты) для проверки идей по оптимизации рекламы. Поскольку поисковые рекламные баннеры выглядят почти идентично обычным результатам поиска, проверка идеи объявления очень легко переносится на систему или ASO.

Кроме того, CST также:

— Частично платформозависимый, внутри App Store, на странице результатов поиска.

 Дешевый, его стоимость обычно ниже, чем у других рекламных каналов.

 Предлагает неограниченные параллельные тесты в случаях, когда это позволяют бюджет и трафик.

Пример креативных наборов от tinuiti — более подробная информация от Apple здесь
Пример креативных наборов от tinuiti — более подробная информация от Apple здесь

Тем не менее, требует пополненный бюджет UA, поддерживает только скриншоты и видео и доступен только iOS-приложениям. Это может привести к следующим ошибкам:

 Чрезмерное использование бюджета: поисковые объявления предназначены для платного UA. Эксперименты ASO должны в основном наследовать знания, которые они предоставляют, а не потреблять бюджет.

 Тестирование с низким трафиком: более низкий трафик означает затрудненное получение высокой статистической значимости. В первую очередь Вы должны посмотреть на производительность поисковых рекламных кампаний и выбрать те, которые имеют лучший трафик для тестирования.

 Неверная интерпретация результата: творческий набор содержит три скриншота, но страница продукта может содержать десять. Тестирование одного не всегда предполагает проверку другого.

CST предлагает несколько вариантов для проверки Ваших идей для CRO, особенно для iOS. Используйте его осторожно в качестве дополнения к SLE, а не в качестве основной платформы.

Производители (третьи лица), с поддельными страницами загрузки

Такие производители, как Storemaven и SplitMetrics, предлагают решения для тестирования, которые обеспечивают высокую статистическую значимость и охватывают несколько магазинов. Однако и они имеют несколько недостатков:

 Дорогие.

 Работают вне магазина приложений, используя «поддельные» списки магазинов. Пользователи должны перейти по слишком большому количеству ссылок перед установкой.

 Они требуют трафика от рекламных кампаний. У посетителей же может сложиться предубеждение относительно объявлений.

Пример того, как выглядят сторонние инструменты, такие как SplitMetrics
Пример того, как выглядят сторонние инструменты, такие как SplitMetrics

Эти инструменты уже достаточно продвинуты и поддерживаются внутренними экспертами, поэтому ошибки будут менее вероятны. Тем не менее, Вы все еще рискуете:

 Чрезмерная зависимость: Производители могут знать CRO, но именно Вы лучше всех знаете приложение и своих пользователей. Вы должны владеть стратегией и концепциями тестирования.

— Прибегание к их помощи слишком рано: они затратны и полезны на более поздних стадиях, когда Вы готовы к масштабированию CRO, а не на ранней, исследовательской стадии.

— Несостыковка результатов: тесты выполняются на фейковой странице загрузки, а не в реальном пространстве магазина приложений. Результаты измерения по последнему могут вводить в заблуждение.

Предварительный анализ после публикации

Также называемый До/После (BA) или последовательный анализ. Этот метод включает сравнение CVR за один и тот же период времени до и после внесения изменений в ваш фактический список магазина, а не тест. Это очень сложно, потому что:

— Он все время подвергается воздействию неизвестных внешних факторов.

 Неполноценные варианты причиняют больше вреда CVR, чем реальное исследование.

 Это «взломанный» тест без дизайна, требующий тяжелой рутинной работы.

Пример временного интервала до публикации Apptamin
Пример временного интервала до публикации Apptamin

Из-за таких осложнений маркетологи, использующие предварительный анализ, рискуют:

 Выбор неподходящего времени, например, когда существует слишком много внешних факторов.

 Измерение очень коротких периодов, например, всего за несколько дней до изменения.

 Использование его (в принципе) для ресурсов, поддерживающих SLE или CST. Предварительный анализ следует проводить только в крайнем случае.

Этот метод настоятельно не рекомендуется использовать из-за его неустойчивости. Единственный вариант его применения — отчаяние. Например, когда Вы нуждаетесь в тестировании названия, но не можете позволить себе сторонние ресурсы. В общем, используйте предварительный анализ с особой осторожностью.

Проведение исследований по странам

Этот тип теста помогает проверить идеи для одного рынка, протестировав их на другом. Они должны быть очень похожи или даже идентичны. Например, Вы хотите протестировать новую концепцию скриншотов для России, но рынок слишком велик, чтобы рисковать, поэтому вы тестируете его в Украине. При определенном культурном сходстве увеличение CVR в Украине может быть хорошим знаком для применения новой концепции в России.

Выборочный анализ межстранового теста (фиктивные данные)
Выборочный анализ межстранового теста (фиктивные данные)

Как и предварительный анализ, межстрановое тестирование требует живого обновления фактического списка магазинов. Он предлагает лучший контроль урона, например, тестирование в менее рискованной стране. Однако угрозы также существуют:

 Никакая степень сходства не может отрицать единственный факт — в любом случае, это разные страны. Убедитесь, что Вы сужаете различия, например, путем сегментации.

 Умножается потенциальное влияние внешних факторов: может пострадать не одна, а две или даже больше стран. Ваши тесты будут испорчены.

Я включил сюда этот метод, чтобы отгородить Вас от его использования, а не объяснить, как это делается. Однако иногда межстрановое тестирование — единственный выход.

Все платформы и методы имеют как положительные, так и отрицательные стороны. Хотя Вы и имеете возможность использовать все из них (с осторожностью), есть идеальный порядок приоритетности, чтобы минимизировать риски:

Google Play SLE → поисковые объявления Apple CST → сторонние производители → предварительный анализ → межстрановое тестирование.

4. Тестирование, направленное не на тех пользователей

Эксперименты в App store требуют трафика для получения статистически значимых результатов. То, что стоит за этим, — не просто цифры. Это реальные люди или пользователи, на которых и направлена работа приложения. Результаты тестирования — результаты человеческого взаимодействия. К сожалению, иногда мы забываем, кто видит наши тесты. Иногда мы открываем доступ не тем пользователем.

А что это значит?

Поиск и просмотр в магазине приложений — не единственные каналы трафика, по которым пользователи могут найти ваше приложение. Другие пути: нажатие на рекламу с платных каналов UA (например, из Facebook ) и, среди прочего, обратные ссылки в сообщениях о рекламе контента. То, как они реагируют на эти элементы, может повлиять на их реакцию относительно Вашего приложение.

Испытуемые-это посетители, они могут приходить с разных каналов (изображение GrowthHackers)
Испытуемые-это посетители, они могут приходить с разных каналов (изображение GrowthHackers)

Например, прежде чем пользователи Facebook смогут увидеть ваше приложение, они должны:

 Увидеть пост или рекламный баннер на Facebook;

 Заметить что-то для себя;

 Нажать на пост, чтобы перенаправиться в список магазина приложения;

 Изучить список, а затем установить.

Если то, что они видят в магазине приложений, противоречит тому, что есть на Facebook, они не вернутся. При проведении тестирования именно это и происходит с Вашими вариантами. В случае неудачи Вы никогда не узнаете, связано ли это с тестовыми идеями или рассогласованием с трафиком. Такая путаница делает утверждение идеи невозможным.

Чтобы избежать этой ошибки при проведении оптимизации (ASO), необходимо действовать в соответствии с другими принципами маркетинга. Вот 5 уровней согласованности, которые нужно иметь в виду:

Стратегия: на чем сосредоточен общий маркетинговый план Вашей компании или команды? Каким стандартам должны следовать все маркетинговые мероприятия, включая органический рост или ASO? Понимание таких аспектов поможет Вам прояснить долгосрочное направление, с которым должна будет согласовываться AppStore оптимизация (ASO).

Канал: разные маркетинговые каналы могут иметь разные цели. Например, Вы можете использовать рекламу Facebook для повышения осведомленности, поисковую рекламу Apple для снижения затрат на UA и рекламу Google для ускорения оптимизации. Поскольку эти цели различны, используемые концепции и стратегии взаимодействий также отличаются. Если Вы составите карту таких концепций и стратегий по всем каналам, то сможете иметь четкое представление относительно того, с чем ASO должна согласовываться или избегать противоречия.

Страна: иногда в рамках одного канала Вашему приложению может потребоваться охватить различные аудитории из разных стран с различными культурными наследиями. Чтобы справиться с такими различиями, некоторые маркетинговые аспекты, связанные с вашим приложением, могут быть локализованы. Убедитесь, что Ваши тесты им соответствуют.

Кампания: каждая маркетинговая (например, рекламная) кампания придерживается определенной цели. Например, поисковая рекламная кампания бренда предназначена для защиты бренда, а универсальная кампания — для преобразований. Различные цели означают различные подходы к обмену сообщениями, и обмен сообщениями в магазине приложений не должен им противоречить.

Ресурс: наиболее определенный и основной уровень маркетинга находится в ресурсах. Для ASO это ресурсы app store. Однако есть и другие каналы, кампании и т.д., которые могут использовать различные средства с различными конструкциями и сообщениями. Если, например, рекламные средства в Instagram показывают одно, а Ваши в магазине приложений — обратное, пользователи будут в замешательстве — они будут путать результаты тестирований.

В конце концов, если Вам все же удастся согласовать тестирование ASO и A/B с остальными маркетинговыми концепциями — от стратегии до уровня активов, можете быть уверены, что все коммуникации будут подходить к соответствующим группам аудиторий. Таким образом, результаты A/B-теста не будут испорчены ориентаций на неправильные объекты исследований.

5. Тестирование в неподходящее время

Сезонность может оказать колоссальное влияние на ASO в целом и исследования app store в частности. Таким образом, когда Вы проводите тесты A/B, сезонность следует принимать всерьез. Выбор неподходящего времени может привести к появлению неожиданных внешних факторов, что затруднит чтение результатов. К сожалению, многие маркетологи все еще делают эту ошибку, упуская из виду:

Рыночные колебания: например, CVR может упасть из-за снижения рыночного спроса, а не ошибок в тестировании.

Праздники или специальные события: например, «Черная пятница» (Black Friday, прим. ред.) может увеличить CVR большинства торговых приложений, без каких-либо изменений ASO.

Изменение климата: например, реклама зимней одежды в приложении с модной тематикой. В теплые зимы такая идея может показать плохие результаты, однако не из-за неудачной изначальной идеи.

Сезонные привычки: например, продвижение горячих супов в жаркое лето для кулинарного приложения может не сработать, но не потому, что супы не популярны.

Вам не нужно подтверждать использование санитарных и медицинских продуктов для продвижения приложения электронной коммерции, такого как Wish, во время пандемии
Вам не нужно подтверждать использование санитарных и медицинских продуктов для продвижения приложения электронной коммерции, такого как Wish, во время пандемии

Проще говоря, прежде чем пользователи увидят Ваше приложение, важно убедиться, что они не предвзяты к окружающими сезонными событиями. Сезонности можно предвидеть, проанализировав следующие четыре контекста:

— Отрасль: какое время года в Вашей отрасли считается нестабильным?

— Рынок: как проявляется нестабильность в разных странах?

— Культура: как меняется отношение людей?

— Магазин приложений: что в это время происходит с другими приложениями?

Чем раньше вы ответите на эти вопросы, тем “чище” станут Ваши тесты.

6. Тестирование в соответствии с неверным принципом

Правило номер один во всех исследованиях — выделить корень проблемы, чтобы иметь представление о том, что важно, а что нет. То же самое для исследований в app store. За один прогон весь процесс должен быть сосредоточен на одном элементе. Другими словами, когда у Вас есть результат теста, Вы точно знаете, что именно нужно проверить. Тем не менее, эта ошибка в тестировании в ASO остается, и маркетологи в конечном итоге учатся по ложным урокам.

Прежде всего, маркетологи тестируют слишком много элементов одновременно. В момент, когда вносится несколько корректировок, как узнать, какая из них вызывает изменение в CVR? Возьмем, например, приведенные ниже скриншоты. Тестовый вариант — «Winning Variation» сравнивается с контрольным «Control». Кроется ли причина изменения CVR в новом цвете ленты заголовка, удалении фона города или добавлении нижней зеленой ленты? Точного ответа нет: это может быть любой из по крайней мере трех измененных элементов.

Пример ошибки тестирования AB (Изображение с помощью SplitMetrics)
Пример ошибки тестирования AB (Изображение с помощью SplitMetrics)

Лучший способ избежать этой ошибки — построить долгосрочную карту тестирования, на которой каждая деталь выстраивается одна за другой, не более одной за раз. Такой деталью может быть что угодно — от нечеткой идеи до оттенка цвета. В любом случае, не путайтесь. Если Вы сталкиваетесь с случаем, подобным приведенному выше, убедитесь, что разделите его по крайней мере на три отдельных теста. Только потом Вы узнаете, что именно увеличивает CVR.

7. Тестирование в сторону неправильного магазина

Последняя серьезная ошибка A/B-тестирования — выбор, в какой из магазинов приложений проверенная идея пойдет в качестве реального ресурса. Это место назначения ваших экспериментов. Вот что многие делают неправильно: они используют Google Play store для тестирования идеи и самого ресурса, а после её проверки дублируют тот же ресурс для App Store.

Почему же это считается ошибкой?

Для начала, пользователи iOS и Android отличаются разными установками и ожиданиями, которые разделяют их намерения и привычки скачивания. Кроме того, разные магазины имеют разные макеты и состав ресурсов, о которых говорилось ранее. То, что выделяется в App Store, может стать неприметным в Google Play и т. д.

Netflix store, например, в App Store и Play Store
Netflix store, например, в App Store и Play Store

Как видно из приведенного выше примера, скриншоты Play Store невелики, но кажутся более согласованными с более четким смыслом контекста, в то время как их аналоги в App Store кажутся более отчетливыми и приметными благодаря большему размеру. Это, наряду с бесчисленными другими различиями, является причиной, по которой удачная проверка идеи в одном магазине приложений не гарантирует её корректную работу в других. В конце концов, Ваши тесты могут быть контрпродуктивными, когда они предназначены для неподходящих магазинов приложений.

Лучший способ избежать этой ошибки — смотреть за пределы обозримого уровня ваших исследований. Опять же, тестирование предназначено не для преобразования, а для проверки. Прежде всего, важно сосредоточиться на идеях. Рабочая идея может появиться во многих формах. Все, что Вам нужно сделать — протестировать её в одном магазине приложений, проверить и превратить в ресурс, подходящий для другого магазина, а затем снова протестировать.

Подводя итоги

Экспериментирование (исследование) является необходимым аспектом ASO, а также многих других областей мобильного маркетинга. Однако, судя по сегодняшней ситуации, оптимального уровня оно еще не достигло. Хотя в этом можно обвинить несколько факторов, наиболее целесообразно сосредоточиться на том, что можете предпринять Вы: перечисленные семь критических ошибок, которые совершают маркетологи при управлении исследованиями в магазине приложений.

Эти ошибки настолько существенны, что заслуживают звания «Семи Смертных Грехов». Чтобы исправить или избежать их, просто определите следующий план тестирования:

Верная цель;

Подходящие средства;

Правильные платформы;

Подходящее время;

Заинтересованные люди;

Правильный путь;

Подходящие магазины.

Благодарность Niklas Göke.

Источник — 7 Fatal App Store A/B Testing Mistakes

Перевод — Дарья Сухоносова

Редактор — Диляра Ахметзакирова

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *