Дашборд рекламной сети никогда не покажет, сколько установок или продаж случилось бы без нее. Он покажет только то, что система атрибуции решила засчитать себе — и эти две цифры почти всегда разные.
Разницу между отчетом канала и его реальным вкладом называют инкрементальностью. Узнать её можно только экспериментом: отключить канал, посмотреть, что изменится в бизнесе, и сравнить с тем, что обещала атрибуция.
Почему отчет канала врет по умолчанию
Большинство рекламных систем считают конверсию по модели last-click: заслуга уходит тому, кто оказался последним касанием перед действием пользователя. Проблема в том, что решение об установке или покупке часто принимается раньше этого касания — реклама просто успевает встать между решением и действием.
В каналах с отложенным эффектом — CTV, view-through форматы, ремаркетинг — это расхождение особенно заметно: платформа фиксирует показ, а не причину покупки. Meta сама публикует данные о том, что бизнесы, регулярно измеряющие инкрементальность, получают в среднем на 30% лучшую отдачу от рекламы, чем те, кто ориентируется только на отчеты кабинетов.
Разница в цифрах — это разница в деньгах. Часть бюджета уходит на рост, часть — на канал, который просто переупаковывает чужие конверсии в свою статистику.
Когда тест имеет смысл, а когда — нет
Тест стоит запускать, если канал закрывает не менее 8–10% целевого объема установок или лидов. На меньшей доле результат теста утонет в обычном шуме метрик, и вывод получится не про инкрементальность, а про то, что измерение недостаточно чувствительно.
Второе условие — стабильность закупки. Если источник ещё в фазе обучения алгоритма, резко масштабируется или скачет по ставкам, тест сравнит не эффект рекламы, а два разных состояния аукциона.
Третье — пересечения с другими каналами. Если источник делит инвентарь или аудиторию с ретаргетингом, DSP или view-through форматами, изолированный тест не сработает: конверсии перетекут в соседние системы атрибуции, и картина искажается сама собой.
Фродовый трафик с долей мошенничества выше 20% тестировать бессмысленно вовсе — такой источник и без теста нестабилен, его проще просто выключить.
Отдельный практический момент, который часто упускают: если канал недобирает до порога 8–10% в одиночку, его можно тестировать не изолированно, а в связке с другими мелкими источниками похожего типа — отключить всю группу целиком через source-off, а затем возвращать в закупку по одному, глядя, кто из них реально держит объем после возвращения.
Пять способов измерить эффект
Выбор метода зависит от трёх вещей: можно ли делить трафик по гео, есть ли готовая аудитория для сравнения и какая атрибуция у самого канала.
Геотест
Аудиторию делят по регионам: в тестовых гео канал отключают, в контрольных — оставляют работать как раньше. По контрольным регионам строится прогноз (baseline) — как вели бы себя тестовые регионы, если бы реклама продолжала крутиться. Разница между фактом и прогнозом и есть величина инкрементальности.
Стриминговый сервис проверял так CTV-кампанию с KPI на подписку: после нескольких месяцев ровной закупки по всей стране показы отключили в двух регионах, а два похожих по динамике оставили контрольными. Реальный вклад канала оказался в диапазоне 68–72% — то есть почти треть установок случилась бы и без CTV-рекламы.
Шахматный тест (ON/OFF, switchback)
Здесь сравнивают не регионы, а временные отрезки: канал включают и выключают по заранее зафиксированному графику — дни или недели. График нельзя менять по ходу теста, а бюджеты и настройки кампаний должны оставаться неизменными весь период.
Метод подходит источникам, которые нельзя разделить по гео — например, premium in-app форматам, закупающим весь доступный объем целиком. Сервис доставки продуктов тестировал так по схеме "день включено / день выключено": в периодах включения около 70% установок и 65% конверсий оказались дополнительными, а в периодах отключения тотал-метрики падали без компенсации от органики.
Placebo Ads
Этот метод проверяет не источник, а формат подачи. Запускают две почти идентичные по бюджету кампании — брендовую и небрендовую, без упоминания названия продукта и логотипа в креативе — и сравнивают воронку от показа до целевого действия.
Компания, доставляющая товары для животных, обнаружила так, что даже полностью небрендовый креатив в соцсети собирал установки и покупки — просто CPI был выше в пять раз, а цена конверсии — в десять. При этом окно view-атрибуции у бренд-кампании оказалось короче: основной объем небрендовых конверсий приходил спустя 12+ часов после показа, тогда как у брендовой — в первые 6. Вывод был не "отключить канал", а сократить окно атрибуции до 6 часов, чтобы источник не дособирал органический спрос на длинной дистанции.
Source-off анализ
Источник полностью выключают на 2–3 недели без переключений, фиксируют показатели до отключения и сравнивают динамику до и после. Метод грубее геотеста и шахматного теста — он не изолирует эффект внутри периода, только показывает, изменился ли общий результат после остановки закупки.
Travel-компания применяла его к DSP-источникам, которые исторически пересекались друг с другом по инвентарю через одни и те же SSP-площадки. После отключения атрибутированные установки резко упали, а поисковые запросы и бронирования снизились куда слабее ожидаемого — часть трафика просто дублировала уже существующий спрос. При повторном включении часть DSP вернули с ограничением по площадкам и оптимизацией на более глубокие события, а часть решили не возвращать вовсе.
Holdout-тест для ремаркетинга
Единственный из пяти методов, работающий с уже существующей аудиторией, а не с поиском новых пользователей. Пользователей делят на группы в соотношении, близком к 80/20, и контрольную группу полностью исключают из показов на всех площадках на 3–4 недели, после чего сравнивают целевые действия и считают uplift.
Важно проверять одну гипотезу за раз: либо инкрементальность самого канала ремаркетинга, либо инкрементальность аудитории — нуждается ли сегмент в допоказе вообще. Смешение двух гипотез в одном тесте искажает результат в обе стороны.
Три ошибки, которые обесценивают тест
Любой тест теряет смысл, если параллельно меняется медиамикс, запускаются новые CRM-рассылки или сезонные акции — эти факторы искажают разницу между тестовой и контрольной группой не хуже самого канала.
Второй частый сбой — атрибуционные лаги. Часть конверсий продолжает засчитываться каналу уже после его отключения, и если не учесть эту задержку в ON/OFF или source-off тесте, результат размывается.
Третья ошибка — оценка по отчету самого канала, а не по тотал-метрикам бизнеса. Задача теста — понять, изменился ли общий результат компании, а не перепроверить, насколько честно источник считает сам себя. Тест короче двух недель почти всегда стоит считать предварительной гипотезой: случайные колебания за такой срок легко перепутать с реальным эффектом канала.
Стоит ли оно того
Две-четыре недели с отключенным или урезанным каналом — это реальные издержки: часть трафика в этот период точно потеряна. Но оплата месяцами за канал, который просто дособирает органику, обходится дороже — особенно если речь о CTV или premium in-app закупке с высокой ставкой за установку.
Результат теста не обязан быть однозначным приговором "выключить" или "оставить". В примере с travel-компанией DSP-трафик не убрали целиком, а вернули частично — с ограничениями по площадкам и качеству. Тест стал инструментом настройки закупки, а не поводом для паники.
Прежде чем запускать эксперимент, стоит убедиться, что оплата рекламы вообще не мешает самому процессу тестирования. Если бюджет пополняется вручную на каждой площадке отдельно, любое быстрое переключение между ON и OFF периодами превращается в лишнюю административную задачу.
Zaley Cash закрывает это на уровне пополнения: деньги на счета TikTok Ads, Facebook Ads и VK Рекламы заходят из одного личного кабинета, без отдельного визита в каждый рекламный кабинет. Сервис маркирует объявления, автоматически формирует закрывающие документы для бухгалтерии и работает с 40+ рекламными сетями в России и за рубежом — с бонусами на пополнение, которые особенно ощутимы, если тест параллельно подталкивает к диверсификации бюджета между источниками.