Sales uplift что это

О2О в деталях: как бренды продвигают продукты между онлайном и офлайном

В условиях пандемии и экономической турбулентности маркетологи все больше обращают внимание на online-2-offline-кампании. Эксперты отдела аналитики programmatic-платформы Segmento подготовили обзор О2О-исследований по кампаниям за 2020 год. Эти данные показывают, какие бренды и категории в первую очередь заинтересованы в подобных кампаниях, а также какие рекламные форматы и инструменты оценки эффективности они используют

Информация становится новой универсальной мировой валютой. Так, маркетинговые исследования создают для бизнеса необходимое знание о том, как часто пользователь ищет бренд или товар и рассматривает ли он в принципе вариант его приобретения. Платформа Segmento провела за прошедший год большой массив O2O-исследований, используя методологию Sales Lift и Offline CR, показывающие, насколько эффективно происходит конверсия из показов рекламы в офлайн- и онлайн-покупки.

Sales-lift — это методика оценки влияния digital и других видов рекламы на продажи в розничных точках. Мониторинг проводится до, во время и после окончания проектов. При этом важно не только оценивать рекламируемый бренд, но и анализировать его в комплексе с другими товарами и категориями, изучая ситуацию в других магазинах и у конкурентов.

В обзор попали исследования Segmento, которые проводились c 1 сентября 2019 года по настоящее время. При подсчете за 100% было взято общее количество всех исследований за этот год по отраслям и в % — для Offline CR и Sales Lift. На первое место закономерно попали продукты питания и медицинские товары, но одежда и ретейл прочно удерживают третье и четвертое место.

Следующим пунктом мы проанализировали множество рекламных креативов и рассмотрели, как распределяются кампании по целям. Первый пункт — акционная реклама, связанная со сбытовой, performance-рекламой, например сезонные или промоакции. Вторым пунктом идет имиджевая коммуникация, которая была нацелена на охват и построение знания о продукте или бренде.

Ниже представлена выгрузка по отдельным объектам рекламы в различных товарных категориях. По наполнению шире всего представлены сферы продуктов питания и медикаментов; пандемия оказала явное влияние на потребление определенных продуктов с большим сроком хранения, а также товаров здорового питания.

Здесь мы также можем проследить определенный интерес потребителей к покупке одежды, в том числе для туризма и активного отдыха.

По месяцам 2019/2020 годов рекламные кампании с исследованиями распределились следующим образом: традиционные сезонные всплески осенью и весной, причем март и апрель лидируют по количеству исследований.

Ниже график, демонстрирующий, как выглядит распределение кампаний по наличию или отсутствию в них методики измерения Brand Lift.

Brand Lift — инструмент, которые позволяет оценить влияние коммуникации на значение брендовых метрик, таких как узнаваемость, запоминаемость, предпочтение и намерение. Значение данных метрик определяется путем опроса после проведения кампании.

В зависимости от регионов, где проводились измерения продаж, картина выглядит так: лидируют федеральные кампании, за ними Москва, Санкт-Петербург и города-миллионники с высокой покупательной способностью.

Прочие данные из исследования представлены на графиках ниже.

Источник

Uplift моделирование в пакете R

Uplift моделирование в пакете R

1. Введение в “Uplift” моделирование

Uplift моделирование – прогнозный метод машинного обучения, служащий для определения величины эффекта воздействия на потребителя. Uplift моделирование применяется при:

Uplift моделирование позволяет сегментировать потребителей, что приводит к увеличению ROI маркетинговой кампании:

Пояснить необходимость учета специфики отклика разных групп потребителей при планировании маркетинговых акций поможет следующий график:

Вероятность отклика потребителя в зависимости от участия в промо-акции
(синий – участвовал, черный – нет)

Классическим примером неудачного планирования промо-акции, без учета уже сформировавшегося желания или нежелания сделать приобретение, является следующий реальный пример:

Мы разработали модель отклика клиентов на промо-акцию и сделали рассылку каталогов по топ-30% клиентов. В результате, с учетом затрат на печать и рассылку, ROI был даже хуже, чем в контрольной группе, где мы не делали ничего.

Почему?!

Скорее всего, большая часть из этой рассылки сделала бы покупку и без участия в промо-акции (“sure thing”).

2. Методология “Uplift” моделирования

Uplift моделирование сегментирует потребителей и анализирует разницу отклика в 2-ух выборках:

С математической точки зрения “uplift” (“аплифт”) определяется как изменение вероятности совершения желаемого события (покупка, клик, возобновление подписки) в ответ на акцию:

P(Y=1| i, a=1) — P(Y=1| i, a=0)

Уже на этапе определения uplift становится понятной нетривиальность поиска решения такой задачи, т.к. uplift не может быть непосредственно измерен: клиент не может одновременно находится и в промо- и в контрольной группе.

Для решения этой задачи существует несколько подходов, которые условно можно разделить на 2 группы:

Прямые

Аплифт, как и в первом случае, вычисляется как разница между вероятностью совершения покупки данным клиентом в контрольной и промо группах.

Непрямые

После определения оптимальных подмножеств, для членов этого подмножества вычисляется аплифт как разница между вероятностью наступления благоприятного события в промо и контрольной группах.

И в том и в другом случае после анализа тестовой (пробной) промо-акции впоследствии таргетируются только группы клиентов, с макимально прогнозируемым аплифтом.

Прямые методы просты в реализации и интуитивно понятны, но, как правило, отличаются невысокой точностью. Непрямые методы являются “черными ящиками”, но отличаются более высокой точностью.

3. Примеры успешных реализаций*

Кейс 1. Telenor.

Кейс 2. Charles Schwab.

4. Исследование данных

4.1 Что такое R

R – это объектно-ориентированный, скриптовый язык статистической обработки данных. R – это де-факто стандарт статистического моделирования в академическом мире. Большинство передовых статистических алгоритмов вначале реализуются в R (Random Forest, Lasso, Ridge Regression etc), а затем мигрируют в коммерческие пакеты. Причиной популярности R являются:

140 тыс. вопросов и ответов), где можно найти ответ практически на любой вопрос.

R имеет реализованные функции для моделирования аплифт в двух пакетах:

uplift (by Leo Guelman): пакет имеет функции для генерация данных, тренировки и валидации моделей (CCIF, RF, KNN), а также функции для презентации и визуализации результатов моделирования.

Information (by Kim Larsen): пакет реализует несколько алгоритмов (Net WOE, Net IV) для выбора оптимального набора параметров при аплифт моделировании. Кроме того, пакет содержит реальную базу данных маркетинговой кампании, которая будет использоваться в данном примере.

4.2 “Базовый” аплифт

Для начала, загрузим необходимые пакеты:

Пакет Information содержит интересующие нас данные в виде двух объектов:

которые мы для начала объединим в один большой датасет:

Датасет состоит из 20’000 строчек (кейсов), с 70 численными переменными, которые описывают профайл клиентов компании. Ларсен не раскрывает смысл, стоящий за той или иной переменной (data book отсутствует), однако для нас важны 3 переменные:

Определим количество сделавших покупки в контрольной и в промо группах и назовем разницу “базовым” аплифтом. Эта величина будет являться бенчмарком, который мы будем пытаться усовершенствовать в результате моделирования:

Графическое отображение вероятности совершения покупки в контрольной и промо группах:

4.3 Является ли аплифт в 0.2% статистически значимым?

Т.к. мы имеем дело со сравнительной небольшой выборкой в 20’000 кейсов, а 20.14% и 19.95% отличаются всего лишь на 0.2%, интересно было бы ответить на вопрос:

является ли такое отличие статистически значимым? Иначе говоря, при повторном проведении промо акции, всегда ли мы гарантированно получим более высокую частоту покупок в промо группе, пусть даже на 0.2%?

Для начала, попробуем визуализировать следующий мысленный эксперимент:

сделаем из нашей тестовой выборки в 20’000 кейсов 10 случайных выборок меньшего размера (например 15’000 кейсов), и посмотрим на распределение частоты совершения покупок в контрольной и промо группах.

Для того чтобы окончательно убедиться в отсутствии статистической значимости увеличения частоты покупок в данной выборке, проведем формальный тест на разницу в частоте покупок в контрольной и промо группах:

Т.к. доверительный интервал включает в себя 0, то при текущем планировании промо-акции мы не можем исключить того, что на некоторых выборках частота покупок в контрольной группе будет выше чем в промо группе (в чем мы уже убедились на случайных выборках в начале этого раздела).

5. Моделирование

Небольшая проверка, чтобы убедиться, что структура данных сохранилась:

Для того, чтобы у нас была возможность сравнивать качество различных моделей, кросс-валидацию будем проводить на 5-ти фиксированных выборках:

Кросс валидация происходит следующим образом:

Таким образом, в конце мы имеем 10 пар средних и дисперсий для аплифта в 10 децилях (в данном случае 200 пар значений mean и sd для 10 глубин и 10 децилей)

Таким образом мы видим, что при использовании всех доступных аттрибутов:

Внимание: аплифты не аддитивны и не усредняются (см. пример расчета аплифта для нескольких децилей ниже)

Фактический аплифт на датасете, который был в “сейфе” (модель не “видела” этих данных), достаточно близок к усредненному аплифту на тренинговом датасете, и в большинстве случаев даже лучше, чем прогнозируемый аплифт.

Посмотрим цифры поближе:

Пример расчета кумулятивного аплифта для нескольких децилей

Если глядя на синие графики, полученные на тренинговых сетах, мы бы спланировали акцию в топ-3 децилях (с учетом дисперсии) при помощи модели с глубиной взаимодействия 9:

что означало бы аплифт в

50% (или, говоря простым языком, увеличение отклика клиентов на 50%)

Посмотрим, сможем ли мы улучшить результат путем сортировки аттрибутов по показателю NIV (кросс-валидация результатов показала,что оптимальным будет набор из топ 30 аттрибутов). Кросс-валидируем глубину взаимодействия на 30 топовых фичах:

Посмотрим, какой аплифт нам бы дало применение этих моделей на “боевой” выборке:

Посмотрим повнимательнее на модель, построенную на Top30 аттрибутах (отфильтрованных при помощи функции NIV из пакета Information ), глубина взаимодействия 10:

Для топ-3 децилей (которые мы бы определили исходя из поведения нашей модели на тренинговом сете, с учетом дисперсии прогнозов):

Заключение

Планирование промо-акций должно учитывать не вероятность отклика клиента (купит/не купит), а маржинальный эффект промо акции на решение индивидуума:

Наиболее оптимальным клиентом для промо акции является индиивидуум, у которого веротяность совершения покупки, вследствие участия в промо, возрастет (“persuadables”).

R, программная среда статистической обработки и анализа данных, предоставляет несколько инструментов для аплифт моделирования, которые позволяют спланировать промо акции оптимальным образом, увеличивая вероятность отклика клиента на 50 и более процентов.

Помимо увеличения процента отклика в промо акциях, аплифт моделирование используется для оптимизации и увеличения ROI маркетинговых кампаний в таких отраслях как:

Источник

Главное с секции Trust/Experience/Sales Uplift — новые роли ТВ в омниканальном мире

Что рекламодатели обычно ждут от телевидения? Охваты, построение знания и лояльность аудитории. Однако в последнее время бренды все чаще говорят о том, что ТВ нужен performance. Куда движется рынок, эксперты обсудили на секции НРА, прошедшей в рамках «Дня Бренда»

Модератор: Алексей Толстоган, генеральный директор НРА

Доверие и эмоции

«Для телерекламы этот год обещает стать лучшим за все время существования НРА», — заявил Алексей Толстоган на прошедшей сессии. Телевидение достигло пика доверия у аудитории. Согласно последнему исследованию OMI, 47% опрошенных доверяют ТВ-рекламе нового бренда, и это самый высокий показатель для медиа. При этом у 62% большее доверие вызывает та реклама, которую потребители видели на ТВ и в интернете, а не только в digital-формате.

По словам генерального директора НРА, телереклама — мощный драйвер продаж, который влияет на рост всех метрик. Она обеспечивает значительный вклад в синергию медиамикса в краткосрочной и долгосрочной перспективе, и без ТВ другие каналы в медиамиксе теряют эффективность.

Пандемия запустила тренд на homing — стремление проводить как можно больше времени дома. И хотя локдауны частично закончились, тенденция сохранилась. Вместе с тем выросло потребление видеоконтента и количество платных подписок на сервисы, у многих потребителей их уже больше двух. Люди проводят много времени у экранов, что повышает эффективность ТВ.

Однако реклама должна быть оригинальной. Рынок заполнен одинаковыми брендами, и компаниям пора научиться вдохновлять и вовлекать свою аудиторию, если они хотят драйвить бренд-метрики. Тогда реклама на ТВ будет эффективной — 58% опрошенных признают, что телереклама вызывает у них самые сильные эмоции среди других других медиа.

Омниканальность

«Омниканальность — новая реальность для брендов. Такой подход существенно повышает Lifetime Value и обеспечивает рост всех метрик. Повышается частота физических посещений магазинов, средняя стоимость чека и лояльность клиентов», — отмечает генеральный директор United Partners Ольга Рублева.

Количество цепочек конверсии с привлечением исключительно performance — редкость и составляет не более 1%. Перед совершением целевого действия человек все равно контактирует с брендом множество раз — через телерекламу, OOH, радио и онлайн. При этом покупка контактов на ТВ обойдется дешевле, чем в performance.

Брендам важно выйти в top of mind в своей категории, чтобы не платить за лишний контакт, и телевидение здесь выигрывает из-за низкой стоимости охвата для широких аудиторий. Однако при работе с категориями 25–44 года стоимость ТВ и digital выравнивается.

Говоря о преимуществах digital, Ольга Рублева отметила, что наиболее выгодной онлайн-реклама оказывается для узкосегментированной ЦА и при проверке гипотез в формате test and learn.

Кампании only digital имеют смысл при низких бюджетах или желании протестировать рекламный посыл, ведь цена ошибки в онлайне в разы меньше, чем на ТВ.

Клиентоцентричность

В период пандемии изменился баланс сил среди ключевых игроков рекламного рынка. Пандемия внесла коррективы в привычки клиентов, усилив одни бренды и ослабив другие. Сложившийся порядок останется с нами надолго, рассказал Денис Климанов, директор по стратегическому маркетингу и коммерческой эффективности НПФ «Материа Медика Холдинг».

Если говорить конкретнее про рынок фармы, то здесь существует четыре фактора успеха: продукт, коммуникационные активы, активация в торговых точках и выбор медиастратегии.

ТВ до сих пор играет ключевую роль в продвижении фармы, поскольку он работает на широкую аудиторию. Digital-каналы имеют более высокий ROI, однако они менее эффективны из-за ограниченного охвата. Чем больше бюджет и планы роста, тем больше вам подходит ТВ.

Content is the King

Важно разделять YouTube и digital, заявляет директор по закупкам OMD OM Group Николай Ануфриев. По мнению эксперта, YouTube превратился в органическую часть телевидения.

Невозможно отрицать пользу digital, но мировой тренд все равно движется в сторону телесмотрения. Тем более что digital в России так и не стал чем-то глобальным, потому что требует усилий. Чтобы скачать кино с торрента, не обойтись без VPN, а конечному потребителю лень этим заниматься. ТВ привлекает людей простотой использования — он не требует знания техники, достаточно нажимать кнопки на пульте.

Нужна единая видеопанель

Оптимальное количество каналов в медиамиксе нужно рассчитывать математически. Именно поэтому Chief Operation Officer Publicis Groupe Russia Сергей Белоглазов выступает за преобразование телевизионной панели в видеопанель, чтобы везде измерять видеовпечатления, не ограничиваясь только линейным телевидением или онлайн-видео. Performance-составляющая тоже добавляется математически.

Сентябрьский опрос в PACE показал, что у 20% респондентов не сформировалась привязанность к брендам. Потребители в возрасте 18–24 года чаще отмечают, что товары выглядят одинаковыми. Кроме того, молодым людям важно, чтобы бренд разделял их ценности, — вес этого атрибута доходит до 29% по всем товарным категориям. Зато тесты на животных, нарушение этики, прав человека и законодательства могут заставить их переключиться на другой бренд.

Один из способов роста ROI целого микса — это сокращение пути потребителя до покупки или конкретного действия, замечает Алексей Толстоган. В этом может помочь эффективный подход к телевизионному планированию. По данным GfK, более половины потребителей хотят получать персональную коммуникацию.

Телевидение приближается к digital

Использование имеющегося массива данных порождает много этических проблем. Недопустимо обращаться к непроверенной информации, считает COO dentsu Russia Дарья Куркина.

Существует множество легальных инструментов, которые позволяют повысить эффективность коммуникации, не переступая законных границ.

ТВ сохраняет позицию медиа с самым высоким потенциалом быстрого построения охвата. При этом на ряде показателей ТВ динамика ROI не вселяла оптимизма. Главная причина — за последние пять лет телевидение перестало быть однородным. Сейчас, как и в digital, в нем присутствует три типа внимания — фоновое (52%), полное (20%) и отсутствующее (28%).

Рекламная индустрия приближается к тому, чтобы работать с телерекламой с учетом тех параметров, к которым все привыкли в digital-среде. На смену линейным измерителям — количеству и стоимости контактов должны прийти другие метрики, вроде анализа досмотра, а также измерения уровня вовлеченности и внимания.

Источник

Туториал по uplift моделированию. Часть 1

Команда Big Data МТС активно извлекает знания из имеющихся данных и решает большое количество задач для бизнеса. Один из типов задач машинного обучения, с которыми мы сталкиваемся – это задачи моделирования uplift. С помощью этого подхода оценивается эффект от коммуникации с клиентами и выбирается группа, которая наиболее подвержена влиянию.

Такой класс задач прост в реализации, но не получил большого распространения в литературе про машинное обучение. Небольшой цикл статей, подготовленный Ириной Елисовой (iraelisova) и Максимом Шевченко (maks-sh), можно рассматривать как руководство к решению таких задач. В рамках него мы познакомимся с uplift моделями, рассмотрим, чем они отличаются от других подходов, и разберем их реализации.

Введение

Обычно продвижение продуктов происходит за счет коммуникации с клиентом через различные каналы: смс, push, сообщения чат-бота в социальных сетях и многие другие. Формирование сегментов для продвижения сейчас решается с помощью машинного обучения несколькими способами:

Нельзя просто взять и обучить модель

где – потенциальная реакция человека, если с ним была коммуникация,
– потенциальная реакция человека, если коммуникации не было.

Ни causal effect , ни для -го объекта мы наблюдать, и, соответственно, оптимизировать не можем. Поэтому перейдем к оценке или формуле uplift конкретного объекта:

Где — наблюдаемая реакция клиента в результате маркетинговой кампании, которая определяется следующим образом:

Где – флаг того, что объект попал в целевую (treatment) группу, где была коммуникация, – флаг того, что объект попал в контрольную (control) группу, где коммуникации не было.

Стоит отметить, что формула для uplift применима только при следующем предположении об условной независимости (Conditional Independence Assumption — CIA): разделение на целевую и контрольную группу происходит случайно, а не в зависимости от значения какого-то признака. Потенциальная реакция объекта — это только следствие характеристик этого объекта (например, установка приложения по аренде квартир зависит от возраста и города проживания), которое проявляется до того, как он попадет в какую-либо группу (целевую или контрольную). Кратко это можно записать как:

При этом наблюдаемая реакция объекта уже зависит от разделения на целевую и контрольную группу, как следует из определения.

Дизайн эксперимента

Итак, нам нужно оценить разницу между двумя событиями, которые являются взаимоисключающими для конкретного клиента (либо мы коммуницируем с человеком, либо нет; нельзя одновременно совершить два этих действия). Именно поэтому для построения моделей uplift предъявляются дополнительные требования к исходным данным.

Для получения обучающей выборки для моделирования uplift необходимо провести эксперимент:

Собранные данные об откликах на маркетинговое предложение, полученные в рамках такого эксперимента, позволят нам в дальнейшем построить модель прогнозирования uplift.

Перед проведением основной кампании рекомендуется аналогично эксперименту случайным образом выбрать небольшую часть клиентской базы и разбить ее на контрольную и целевую группы. С помощью этих данных можно будет не только адекватно оценить эффективность кампании, но и собрать дополнительные данные для дальнейшего переобучения модели.

Схема взята и адаптирована из [1]

Кроме того, рекомендуется настраивать разработку uplift модели и запуск кампании как итеративный процесс: на каждой итерации будут собираться новые обучающие данные об откликах, которые состоят из комбинирования случайной подвыборки клиентов и клиентов, выбранных моделью.

Результаты воздействия на клиентов, выбранных моделью, не хотелось бы использовать в качестве обучающей выборки, так как клиенты были взяты не случайным образом. Однако эти данные представляют большую ценность, поэтому их следует изучить и использовать для дальнейшего совершенствования модели и увеличения отклика от будущих кампаний.

Типы клиентов

Принято выделять 4 типа клиентов по реакции на коммуникацию:

Таким образом, предсказывая uplift и выбирая топ предсказаний, мы хотим найти только один из четырех типов — убеждаемый. Есть несколько способов это сделать.

Одна модель с признаком коммуникации

Treatment Dummy approach, Solo model approach, Single model approach, S-Learner

Самое простое и интуитивное решение: модель обучается одновременно на двух группах, при этом бинарный флаг коммуникации выступает в качестве дополнительного признака. Каждый объект из тестовой выборки скорим дважды: с флагом коммуникации равным 1 и равным 0. Вычитая вероятности по каждому наблюдению, получим искомый uplift.

В некоторых статьях, например [2], предлагается увеличить количество признаков вдвое, добавив произведение каждого признака на флаг взаимодействия: :

Две независимые модели

Two models approach, T-learner, difference two models

Подход с двумя моделями один из самых популярных и достаточно часто встречается в статьях, например [3] и [4]. Метод заключается в отдельном моделировании двух условных вероятностей на целевой и контрольной группах, а именно:

Две зависимые модели (зависимое представление данных)

Dependent Data Representation, Dependent Feature Representation

Подход зависимого представления данных, представленный в [5], основан на методе цепочек классификаторов, первоначально разработанном для задач многоклассовой классификации. Идея состоит в том, что при наличии различных меток можно построить различных классификаторов, каждый из которых решает задачу бинарной классификации. В процессе обучения каждый следующий классификатор использует предсказания предыдущих в качестве дополнительных признаков. Авторы данного метода предложили использовать ту же идею для решения проблемы uplift моделирования в два этапа. Вначале мы обучаем классификатор по контрольным данным:

затем выполним предсказания в качестве нового признака для обучения второго классификатора на тестовых данных, тем самым вводя зависимость между двумя наборами данных:

Чтобы получить uplift для каждого наблюдения, вычислим разницу:

Так второй классификатор изучает разницу между ожидаемым результатом в тесте и контроле, т.е. сам uplift.

Две зависимые модели (перекрестная зависимость)

Метод основывается на построении двух моделей, так же, как и в двух предыдущих подходах. Авторы статьи [6] рекомендуют применять его тогда, когда целевая группа достаточно маленькая. В этом случае есть риск, что модель, построенная на целевой группе, будет обладать недостаточной обобщающей способностью. Поэтому создается перекрестная зависимость двух моделей, чтобы усилить одну модель данными другой.

1. Сначала обучаем параллельно две модели: одну на контрольной группе, другую — на целевой (как в методе с двумя независимыми моделями):

2. Затем преобразуем обе целевые переменные, используя предсказания контрольной модели на данных целевой группы и предсказания целевой модели на данных контрольной группы. Полученные величины обозначаются как и и называются вменяемым эффектом от воздействия.

Если оценки и были бы не предсказаниями, а реальными величинами (которые мы на самом деле не можем пронаблюдать), то и были бы равны uplift, то есть

3. Обучим две новые модели на преобразованных таргетах и :

4. Взвешенная с некоторым коэффициентом сумма предсказаний этих моделей и будет uplift. Поэтому процесс применения модели будет выглядеть следующим образом:

Рекомендуется выбирать , если размер целевой группы большой по сравнению с размером контрольной группы, и , если наоборот. Кроме того, можно рассматривать не только как константу, а как некоторую функцию от объекта — .

Заключение

В этой статье были рассмотрены особенности uplift моделей, процесс сбора данных и проведения маркетинговых кампаний, а также базовые методы моделирования uplift. В следующей части мы продолжим говорить о более интересных подходах.

Статья написана в соавторстве с Ириной Елисовой (iraelisova)

Источник