Услуга

Оценка эффективности рекламы под ключ: вклад каналов в продажи по вашим данным

MMM-исследование под ключ – эконометрическая услуга: модель медиамикса на ваших данных строим мы. Вы передаёте выгрузку продаж и рекламных затрат, мы проверяем данные, строим и проверяем модель, считаем перераспределение бюджета и сдаём отчёт. Покупать лицензию на программу для этого не нужно.

Исследование мы проводим в нашей программе Econometrica MMM Optimizer – тем же методом и по тем же правилам проверки качества, что описаны на странице «Метод».

Кому это нужно

Директору по маркетингу – чтобы обосновать медиаплан и перераспределение бюджета не средней окупаемостью, а отдачей следующего рубля по каждому каналу.
Аналитику – чтобы получить модель с диагностикой и параметрами, которые можно разобрать, а не только итоговые цифры.
Агентству – чтобы показать клиенту вклад каналов, включая те, что не дают переходов: наружную и ТВ-рекламу.

Оценка эффективности рекламных каналов: что входит в работу

Проверка данных. Смотрим, хватает ли истории, распознаётся ли частота данных, нет ли пропусков в целевом показателе. Пустая ячейка затрат считается нулевыми затратами – это важно сказать до расчёта, поэтому вопросы по данным задаём заранее.
Модель. Строим модель, которая учитывает, что эффект рекламы длится после выхода и что у каждого канала есть насыщение, а также праздники, сезонность (если истории хватает) и внешние факторы, которые вы дадите отдельными колонками. Устройство модели – в «Подробностях для аналитика» ниже и на странице «Метод».
Проверка качества. Модель получает вердикт надёжности – от «надёжно» до «ненадёжна»: если расчёт не сошёлся, модель помечается ненадёжной, причина называется, а переброска бюджета автоматически не применяется.
Проверка на истории – в пакетах «Стандарт» и «Расширенный». Модель переобучается на прошлом и предсказывает следующий отрезок; прогноз сравнивается с фактом. Нужно не меньше трёх проверочных отрезков; если истории не хватает, исполнитель письменно укажет в отчёте, что проверку провести нельзя и почему.
Распределение рекламного бюджета. Поиск распределения по предельной отдаче каналов в границах, которые вы задаёте; при желании – задача от цели продаж и прогноз по вашему варианту плана.
Отчёт. Результат передаём в согласованном формате. Программа формирует отчёт в виде презентации PowerPoint, таблицы Excel и веб-страницы, а параметры модели – отдельным файлом JSON.

Ролик «Проверка качества: вердикт, отказ, проверка на истории»Иллюстрация на синтетических данных

Текстовое описание ролика

0,0–3,2 сЦепи – это несколько параллельных прогонов
3,2–7,7 сесли они сошлись к одному ответу, расчёту можно доверять больше.
7,7–11,6 сПосле расчёта модель получает одно из четырёх состояний
11,6–17,6 сРасчёт не сошёлся: наибольший R-hat равен 1,05 или выше либо дивергенций больше порога.
17,6–22,8 сПрограмма называет причину и не применяет переброску бюджета автоматически.
22,8–28,5 сНехватка данных к отказу не ведёт: при ограниченных данных совет даётся с оговоркой.
28,5–32,6 сПроверка на истории – в пакетах «Стандарт» и «Расширенный».
32,6–39,5 сМодель переобучается на прошлом и предсказывает следующий отрезок; прогноз сравнивается с фактом.

Сноска в кадре (13–17,5 с): Порог R-hat ≥ 1,05 – в версии 2.5.11; пересматривается по итогам проверки метода.

Подробности для аналитика

Модель. Байесовская модель медиамикса учитывает перенос эффекта рекламы во времени, насыщение каналов, календарь российских праздников, сезонную волну – если в данных не меньше двух полных циклов и она статистически заметна, – и внешние факторы, которые вы дадите отдельными колонками. Если наблюдений меньше 30 – например, месячная история короче двух с половиной лет, – программа по умолчанию выбирает упрощённый режим: обычную регрессию с фиксированными параметрами переноса и насыщения; у вклада каналов диапазона в нём нет, остальные диапазоны строятся другим способом.

Проверка качества. Сходимость расчёта, число дивергенций, эффективное число выборок. По итогам модель получает одно из четырёх состояний вердикта – от «надёжно» до «ненадёжна». В упрощённом режиме вердикт «надёжно» не выдаётся – совет всегда идёт с оговоркой.

В упрощённом режиме при истории короче 30 наблюдений у вклада диапазона нет.

*Если истории хватает на три проверочных отрезка: для недельных данных – от 59 недель, для месячных – от 21 месяца. Иначе исполнитель письменно укажет в отчёте, что проверку провести нельзя и почему. Месячный порог относится к упрощённому режиму, который программа по умолчанию выбирает при истории короче 30 наблюдений; при байесовском расчёте на такой истории нужно больше. Оба порога растут, если каналов и внешних факторов много.

Что показывает отчёт программы

Вклад каждого канала в продажи и окупаемость каналов – с 90-процентным диапазоном правдоподобия, а при короткой истории – без диапазона (см. «Подробности для аналитика»).
Предельную отдачу каждого канала – тоже с диапазоном.
Рекомендуемое распределение бюджета и прогнозный прирост – точкой, по средним оценкам модели. Диапазон у рекомендуемых сумм не показываем, потому что оптимизатор работает по средним оценкам; разброс оптимальных долей можно рассчитать отдельно.
Метку решения по каждому каналу – например, «Масштабировать», «Под наблюдением» или «Недостаточно данных».
Вердикт надёжности модели и, если совет дан с оговоркой, – причины оговорки.
Результат проверки на истории, если она проводилась.

Образец отчёта на синтетических данных – на странице «Пример отчёта», его можно скачать в PDF.

Ролик «Из чего сложились продажи»Иллюстрация на синтетических данных

Текстовое описание ролика

0,0–3,5 сВы передаёте выгрузку продаж и рекламных затрат
3,5–7,5 сМодель раскладывает продажи по периодам
7,5–12,0 сна базовую часть – то, что продалось бы без рекламы, –
12,0–18,5 си вклад каждого рекламного канала.
18,5–23,5 сПри байесовском расчёте у вклада каналов есть диапазон правдоподобия.
23,5–30,0 сШирокий диапазон – сигнал, что данных для уверенного вывода по этому каналу не хватает.

Столбчатая диаграмма отчёта программы: базовая часть продаж – 11,53 млрд, вклад каналов – онлайн-видео 0,89 млрд, поиск 0,63 млрд, ТВ 1,03 млрд, наружная реклама 0,25 млрд; итого продажи – 14,34 млрд — Из чего сложились продажи за 156 недельДемонстрационные данные, не клиентский проект. Отчёт программы Econometrica MMM Optimizer.

Чем исследование под ключ отличается от самостоятельной работы на открытых библиотеках

Если у вас есть свой аналитик, модель можно построить самим на открытой библиотеке. Чем это отличается от исследования под ключ:

Исследование под ключ и свой расчёт на открытой библиотеке
	Исследование под ключ	Свой аналитик на открытой библиотеке (Meridian, Robyn)
Кто строит модель	Мы, в своей программе Econometrica MMM Optimizer	Ваш аналитик
Что нужно с вашей стороны	Выгрузка продаж и затрат по каналам	Своя команда и вычислительная среда: Meridian требует Python, Robyn работает на R (версия на Python – бета)
Стоимость	Исследование – от 80 000 ₽, НДС не начисляется (АУСН); точную стоимость называем в ответе на бриф	Библиотеки открытые: лицензии Apache 2.0 (Meridian) и MIT (Robyn)
Формат работы	Письменно; состав работ закреплён пакетом	Определяет ваша команда
Если модель ненадёжна	Вердикт надёжности и отчёт о причинах; один повторный расчёт на дополненных данных в течение 30 дней входит в пакет	Определяет ваша команда

Агентство может заказать исследование для своего клиента – см. страницу «Агентствам».

Пакеты услуги

Пакеты услуги
Пакет	Модели	Версии распределения бюджета	Проверка на истории в отчёте	Раунды письменных уточнений
Старт	1	1	–	1
Стандарт	до 3	до 2 на каждую модель	да*	2
Расширенный	до 6	до 3 на каждую модель	да*	3

*Проверка на истории входит, если истории хватает на три проверочных отрезка; пороги – в «Подробностях для аналитика» выше.

Число каналов и внешних факторов в модели зависит от длины и качества ваших данных: на каждый параметр модели должно приходиться достаточно наблюдений. Если истории мало, предложим объединить близкие каналы или сократить набор факторов – это обсуждается письменно до расчёта и не меняет цену пакета.

Исследование – от 80 000 ₽ (пакет «Старт»), НДС не начисляется: исполнитель применяет АУСН. Стоимость остальных пакетов и точную стоимость под вашу задачу называем в ответе на бриф – не позднее чем через два рабочих дня после получения письма. Что влияет на стоимость – на странице «Стоимость», что указать в брифе – на странице заказа.

Что считается единицей работы

Модель – один целевой показатель для одного бренда, региона или категории.
Версия бюджета – расчёт распределения бюджета при заданных вами границах или цели.
Раунд уточнений – один письменный блок вопросов или замечаний к отчёту и один письменный ответ на него.
Новые данные – это новый расчёт: отдельная модель или доплата, а не доработка прежнего.

Типовая работа – в возможностях программы Econometrica MMM Optimizer. Нестандартные задачи – особая структура модели, нестандартные факторы, калибровка по результатам лифт-тестов – оцениваются отдельно и в пакеты не входят. Работа сверх пакета – доплата по согласованной оценке.

Общение – письменно

Работаем письменно: так условия, правки и ответы остаются зафиксированными – к ним можно вернуться через полгода, их можно переслать коллегам, и не нужно восстанавливать, о чём договорились на звонке.

Вопросы, замечания и согласования – письмом на hello@mmm-optimizer.pro. Звонков и встреч мы не проводим. На письменный вопрос отвечаем не позднее чем через два рабочих дня после получения письма.

Куда переложить бюджет

Продажи от рекламы, усл. ед. (точкой): 125,5
Изменение к исходному распределению (точкой): 0 %

При переносе бюджета из насыщенного канала в канал с более высокой предельной отдачей прогноз растёт. Рекомендуемые суммы и прирост – точкой, по средним оценкам модели; диапазон показан только у предельной отдачи каналов. В иллюстрации каждая доля меняется в границах от 50 до 150 % исходной.Иллюстрация на синтетических данных

Данные иллюстрации таблицей

Исходное распределение бюджета 100 усл. ед. (синтетические данные)
Канал	Доля, %	Предельная отдача	Интервал предельной отдачи
ТВ	60	0,50	0,37 – 0,62
Онлайн-видео	25	0,70	0,45 – 0,95
Поиск	15	0,74	0,37 – 1,11

Двигайте ползунки: при переносе бюджета из насыщенного канала в канал с более высокой предельной отдачей прогноз растёт. Рекомендуемые суммы и прирост считаются по средним оценкам модели и показаны точкой; диапазон показан только у предельной отдачи каналов. В окне программы по умолчанию бюджет канала может меняться от 20 до 200 % текущего; границы можно изменить.

Распределение бюджета: было и стало

Общий бюджет за 156 недель – не меняется: 1 907,8 млн
Прирост всех продаж по модели: +1,9 %
Прирост продаж от рекламы по модели: +8,5 %

Границы в примере – от 20 до 200 % текущего (значение по умолчанию в окне программы).

Сейчас
После перераспределения

Общий бюджет тот же – 1 907,8 млн за 156 недель. Программа сокращает бюджет ТВ на 42,2 % и наружной рекламы на 7,1 %, добавляет онлайн-видео 64 % и поиску 56,9 %. По модели все продажи растут на 1,9 %, продажи от рекламы – на 8,5 %. Суммы и прирост – точечные, по средним оценкам модели.Демонстрационные данные, не клиентский проект. График сайта по числам расчёта программы Econometrica MMM Optimizer.

Данные графика таблицей

Бюджет каналов за 156 недель, демонстрационный расчёт
Канал	Сейчас, млн	После, млн	Изменение
ТВ	954,4	551,9	−42,2 %
Наружная реклама	261,1	242,6	−7,1 %
Онлайн-видео	380,3	623,7	+64 %
Поиск	312,1	489,6	+56,9 %
Всего	1 907,8	1 907,8	0 %

Этапы

Бриф. Вы описываете задачу на странице заказа или письмом: что нужно оценить, какие каналы, за какой период есть данные.
Соглашение о конфиденциальности. Подписываем NDA до передачи данных.
Передача данных. Данные передаются не через сайт; способ передачи согласуем после подписания NDA.
Проверка данных и план работ. Пишем, чего не хватает и как это скажется на выводах, – до расчёта, а не после; письменно согласуем план работ и срок.
Расчёт и проверка качества. Строим модель, проверяем сходимость, при возможности – проверяем на истории.
Бюджет. Считаем распределение в согласованных с вами границах.
Результат. Передаём результат в согласованном формате.

Срок

Для пакета «Старт» – от трёх рабочих дней с получения полного набора данных и предоплаты; для остальных пакетов – по согласованному плану работ. Срок зависит от числа каналов, длины истории и готовности данных.

Что нужно от вас

Таблица по периодам: дата, целевой показатель (например, выручка или продажи в штуках), затраты по каждому рекламному каналу и, если есть, внешние факторы – цена, промоакции, дистрибуция. Формат – .xlsx, .xls или .csv. Для пакетов данные принимаются одной таблицей или небольшим числом файлов. Сведение данных из нескольких источников – по согласованной оценке. Подробно – на странице «Какие данные нужны».

Персональные данные для исследования не нужны – не включайте их в выгрузку.

Когда не подходит

Нужен ответ за один-два месяца истории. Модели нужна история; при истории короче года программа предупреждает, что данных мало, а выводы будут сдержанными.
Нужно оценить отдельное объявление или креатив. MMM работает на уровне каналов и периодов.
Целевой показатель – восприятие бренда. Модель считает показатели продаж и действий, показатели восприятия бренда целевым показателем не поддерживаются.
Нужна оценка, не зависящая от допущений. Байесовская модель опирается и на ваши данные, и на априорные отраслевые допущения; чем короче история, тем больше вес допущений. Мы показываем это шириной диапазонов, но убрать полностью не можем.

Пять главных вопросов

Сколько стоит?

Исследование – от 80 000 ₽ (пакет «Старт»), НДС не начисляется: исполнитель применяет АУСН. Точную стоимость называем в ответе на бриф – не позднее чем через два рабочих дня после получения письма. Состав пакетов – на странице заказа.

Сколько данных нужно?

Обычно – не меньше года истории по периодам: продажи или другой целевой показатель, затраты по каналам и, если есть, внешние факторы. Подробно – на странице «Какие данные нужны».

Чем MMM отличается от сквозной аналитики?

Сквозная аналитика связывает продажу с конкретными касаниями пользователя, которые удалось отследить. MMM работает с суммарными продажами и затратами по периодам и поэтому охватывает и каналы без переходов – например, наружную и ТВ-рекламу. Подробное сравнение – на странице «MMM или сквозная аналитика».

Насколько точен результат?

Ровно настолько, насколько позволяют проверки качества, – и программа говорит об этом прямо: при несошедшемся расчёте модель помечается ненадёжной, при слабых данных совет идёт с оговоркой. Рекомендуемые суммы по каналам считаются по средним оценкам модели, а диапазон показан у предельной отдачи каналов. Пороги и четыре состояния вердикта – на странице «Метод».

Кто видит наши данные?

Соглашение о конфиденциальности подписываем до того, как вы передадите данные. Персональные данные для исследования не нужны. По вашему письменному запросу в течение 10 рабочих дней сообщим, каким привлечённым лицам передавались ваши сведения и какие услуги они оказывают. В работе могут использоваться сервисы искусственного интеллекта зарубежного поставщика через сервер исполнителя за пределами Российской Федерации. Подробно – на странице «Данные и NDA».

Ещё вопросы

Можно ли заказать исследование без программы?

Да. Расчёт ведём мы, вы получаете отчёт и параметры модели. Лицензия нужна, только если вы хотите считать сами.

Сколько длится исследование?

Для пакета «Старт» – от трёх рабочих дней с получения полного набора данных и предоплаты; для остальных пакетов – по согласованному плану работ.

Что будет, если модель окажется ненадёжной?

Если по правилам программы расчёт признан ненадёжным – см. четыре состояния вердикта, – результатом работы считается отчёт о причинах и перечень недостающих данных. Если в течение 30 дней после этого отчёта вы передадите дополненные данные, один повторный расчёт на них входит в пакет. Условия будут закреплены в оферте.

Почему у рекомендации по бюджету нет диапазона?

Оптимизатор ищет распределение по средним оценкам модели, поэтому рекомендуемые суммы и прирост – точечные. Неопределённость мы показываем там, где она посчитана: у вклада, окупаемости и предельной отдачи каналов.

Можно ли учесть результаты наших экспериментов?

Программа умеет учитывать результаты лифт-тестов – экспериментов с контрольной группой – как дополнительное наблюдение. В исследовании под ключ такая калибровка – нестандартная задача: она оценивается отдельно и в пакеты не входит.

Можно ли обсудить результаты на встрече?

Работаем письменно: вопросы и замечания к отчёту присылайте письмом – так всё сказанное остаётся зафиксированным. Встреч по исследованию мы не проводим, всё общение – письменное; число раундов уточнений зависит от пакета, а ответ на письменный вопрос – не позднее чем через два рабочих дня после получения письма.

Используется ли искусственный интеллект?

Может использоваться: для задачи или её отдельных элементов мы можем применять сервисы искусственного интеллекта зарубежного поставщика через сервер исполнителя за пределами Российской Федерации. Применять ли их и для чего, решаем мы; если применяем, что передаётся, зависит от проекта: сводки посчитанных показателей и тексты вопросов, а при необходимости – и исходные данные. Подробно – на странице «Данные и NDA».

Где хранятся данные во время работы?

Срок хранения исходных данных и порядок удаления будут закреплены в оферте; по вашему письменному требованию и при прекращении соглашения материалы возвращаются или уничтожаются в течение 15 рабочих дней (NDA). Часть работы может выполняться с помощью сервисов искусственного интеллекта зарубежного поставщика через сервер исполнителя за пределами Российской Федерации. Состав привлечённых лиц сообщаем по письменному запросу. Подробно – на странице «Данные и NDA».

Опишите задачу – ответим, подходит ли под неё MMM

Расскажите, что нужно оценить и какие данные есть, – по брифу скажем, хватит ли их.

Отправить заявку Отправить бриф письмом

Согласие на обработку персональных данных даётся отметкой в форме. Как мы обрабатываем персональные данные – в политике обработки персональных данных.

Ответим на заявку не позднее чем через два рабочих дня после получения заявки.

Если почтовая программа не открылась, напишите на hello@mmm-optimizer.pro

Открыть в Яндекс Почте Открыть в Gmail