Акцию оценивают, сравнивая две сопоставимые группы гостей за один и тот же период: ту, которая её получила, и ту, которую нарочно оставили без неё. Разность их долей отклика, умноженная на размер обработанной группы, даёт прирост визитов. Разность меньше обычного колебания той же самой доли не измерена вовсе.
Каждое число в разборе ниже — учебное, подобранное так, чтобы расчёт можно было проверить строка за строкой. Ни одно из них не норма, ни одно не описывает настоящее заведение и ни одно не годится для переноса в собственный расчёт. Официальной статистики о том, на сколько акция поднимает число визитов в ресторан, не существует, и эта страница никакой не называет: в каталоге наборов Eurostat нет ничего про отклик на кампанию или эффект акции для секции размещения и общепита — единственные позиции со словом «маркетинг» там это старые таблицы обследования инноваций про виды маркетинговой инновации, — а раздел торговли польского статистического ведомства публикует обороты и методологическую тетрадь торговой и гастрономической деятельности, а не результаты кампаний. Поэтому вместо числа для переписывания страница даёт арифметику.
Почему «после акции выручка выросла» ничего не говорит про акцию
Сравнение «до и после» ставит рядом две недели, а не две группы. Между этими неделями в городе сдвинулось и всё остальное: сменилась погода, выпал праздник, пришли зарплаты, конкурент через две улицы закрылся на ремонт, местный матч на один вечер заполнил район. Всё это ложится в одно число, и заслугу получает кампания.
Совпадающая причина (confounder) — всё, что изменилось одновременно с кампанией и сдвинуло ресторан целиком: погода, праздник, закрытие конкурента, отзыв, который как раз появился. Контрольная группа поглощает совпадающие причины, потому что обе группы живут одну и ту же неделю. Сравнение «до и после» не поглощает ничего.
Три способа оценить акцию и что каждый из них принимает за эффект
| Способ | Что сравнивает | Что принимает за эффект | Когда всё-таки годится |
|---|---|---|---|
| До и после | Неделю кампании с предыдущей неделей | Погоду, календарь, день зарплаты, закрытие конкурента | Больше ничего не сдвинулось, и ты можешь назвать, что именно не сдвинулось |
| Год к году | Неделю кампании с той же неделей год назад | Год изменения цен, сменившееся меню, сменившийся район | У заведения есть длинная, ровная и записанная история |
| Обработанная против контрольной | Две группы гостей внутри одной недели | Только разницу между самими группами | Гости узнаваемы, и часть из них можно оставить без рассылки |
Третья строка — единственная, у которой слагаемое ошибки настолько мало, что его можно назвать вслух. На этом стоит вся страница.
Что такое контрольная группа и почему она почти ничего не стоит
Контрольная группа — гости, нарочно исключённые из кампании, чтобы их поведение показало, что случилось бы и так.
Обработанная группа — гости, которые кампанию получили. Они сопоставимы с контрольной только если деление сделано до старта кампании и по правилу, не связанному с тем, сколько они тратят.
Контрольная группа — не эксперимент, за который платят. Это та часть рассылки, которую не делают. Если кампания уходит девяти гостям из десяти вместо десяти, вся её цена — маржа, которую принёс бы десятый, и только та его доля, которая вообще откликнулась бы. Против кампании с неизвестным эффектом это низкая цена за единственное число, переживающее спор.
Каким бы каналом ни шло предложение, контрольная группа определяется одинаково: это ровно те, кому не отправили. Если рассылка автоматическая, исключение обязано быть автоматическим вместе с ней, иначе доброжелательный коллега дошлёт десятому гостю предложение, «чтобы никого не обидеть», и растворит весь замер. Заведи исключение там, где живёт рассылка, — в каналах сообщений, а не в заметке рядом.
Как разделить базу, чтобы обе половины были сравнимы
Честность деления решают два правила, и оба про момент, а не про статистику.
Деление происходит до кампании, а не после. Группа, собранная после рассылки, — «сравним тех, кто воспользовался, с теми, кто не воспользовался» — ставит рядом людей, которые предложение хотели, и людей, которые его не хотели. Эта разница существовала до кампании и останется после неё.
Правило не имеет отношения к тратам. Сортировка по последнему визиту, по среднему чеку или по уровню лояльности кладёт лучших гостей на одну сторону, а лучшие гости вернулись бы и так.
Правила деления и что каждое делает со сравнением
| Правило деления | Даёт сравнимые группы | Чем портит сравнение |
|---|---|---|
| Последняя цифра номера карточки гостя | Да | Ничем, если номер не выдавался по тратам или по уровню |
| Алфавитные половины фамилии | На практике да | Почти ничем; сторожи район, где одна группа фамилий сгущена |
| Предложение получает каждый выше среднего чека | Нет | Обработанная группа состоит из лучших гостей ещё до первого сообщения |
| Каждый, кто не был три месяца | Нет | Группы различаются ровно тем, что измеряется |
| Тот, кто открыл прошлую рассылку | Нет | Обработанная группа состоит из тех, кто уже тебя читает |
| Тот, кого управляющий помнит с теплом | Нет | Неповторимо и меняется вместе со сменой |
Деление живёт в карточках гостей, поэтому и делается там, где эти карточки лежат, а не в копии таблицы, стареющей в момент выгрузки, — смотри карточки гостей, а если слой системы ещё не выбран — статью CRM или ERP.
Доля отклика: одна формула, два множества, одно окно
Доля отклика — часть группы, посетившая заведение внутри окна наблюдения.
Доля отклика = Гости группы, пришедшие в окне ÷ Гости в группе
Гости группы, пришедшие в окне— число различных гостей этой группы хотя бы с одним визитом внутри окна, человек;Гости в группе— размер группы на момент деления, человек;- окно одно и то же у обеих групп и задаётся до старта кампании.
Заданное заранее окно значит больше, чем звучит. Окно, выбранное задним числом, всегда окажется тем, которое кампании льстит, а выбирающий его человек этого за собой не заметит.
Разбор считается на базе в 1 200 гостей с контактом, поделённой пополам по последней цифре номера карточки: 600 обработанных, 600 контрольных, окно в тридцать дней.
- обработанная: пришли 96 из 600, то есть
96 ÷ 600 = 0,16, это 16,00 %; - контрольная: пришли 75 из 600, то есть
75 ÷ 600 = 0,125, это 12,50 %.
Прирост в процентных пунктах и прирост в визитах — разные числа
Прирост отклика (incremental lift) — разность долей отклика обработанной и контрольной групп. Измеряется в процентных пунктах, а не в процентах.
Прирост (процентные пункты) = Доля отклика (обработанная) − Доля отклика (контрольная)
- оба слагаемых — доли собственной группы, безразмерные;
- их разность тоже безразмерна, и имя этой разности — процентные пункты.
16,00 % − 12,50 % = 3,50 процентного пункта.3,50 ÷ 12,50 = 0,28, то есть относительный прирост 28 %.Оба числа верны и не заменяют друг друга: одно — разность, другое — отношение.
Это самый частый способ соврать числом об акции — та же семья ловушек, что в тексте про числа, на которые владелец правда смотрит.
Чтобы прирост стал тем, что чувствует кухня, нужно ещё одно умножение:
Прирост визитов = Прирост (процентные пункты) × Гости в обработанной группе
Прирост— разность двух долей, безразмерная;Гости в обработанной группе— размер обработанной группы, человек;- произведение выходит в визитах.
В разборе 0,035 × 600 = 21 визит прироста. Это и есть число, которому место на экране рядом с базой, а не сырая девяносто шестёрка — смотри панели показателей.
Как подписать оба числа, чтобы отчёт читался и через год
Разность и отношение путают в отчётах не потому, что кто-то не умеет делить, а потому, что обоим числам достаётся один ярлык — «рост». Подпись решает, сойдётся ли этот отчёт со следующим, поэтому её стоит установить один раз и держаться её.
| Число | Что это | Единица | Как подписывать |
|---|---|---|---|
| 16,00 % и 12,50 % | Доли отклика обеих групп | Процент от собственной группы | «доля отклика, обработанная / контрольная» |
| 3,50 | Разность этих двух долей | Процентные пункты | «прирост, процентные пункты» — никогда со знаком процента |
| 28 % | Та же разность, делённая на долю контрольной | Процент от базы сравнения | «прирост относительно контрольной группы» |
| 21 | Разность, перенесённая на размер обработанной группы | Визиты | «визиты прироста, обработанная группа» |
Проверка подписи простая: прочитай фразу вслух тому, кто не видел расчёта, и посмотри, сможет ли он сказать, что стояло в знаменателе.
Прирост в деньгах: сначала маржа покрытия, потом стоимость акции
Визиты становятся деньгами только после умножения на то, что визит оставляет.
Прирост маржи = Прирост визитов × Маржа покрытия на гостя − Стоимость акции
Прирост визитов— визиты, добавленные кампанией, визиты;Маржа покрытия на гостя— то, что остаётся от одного визита после переменных расходов, PLN на визит;Стоимость акции— всё, что кампания съела: себестоимость розданного, плата канала, работа дизайнера, PLN;- визиты, умноженные на PLN за визит, дают PLN, а PLN минус PLN — это PLN.
Маржу покрытия эта страница не определяет: у термина уже есть владелец. Цитата из столпа о точке безубыточности дословно: «Маржа покрытия (contribution margin) — это деньги, остающиеся от чистой выручки после вычета переменных расходов; они идут на покрытие постоянных расходов, а после того как постоянные расходы закрыты, становятся прибылью. Выраженная как доля чистой выручки, она называется коэффициентом маржи покрытия; выраженная в расчёте на одного гостя — маржой покрытия на гостя.»
В разборе при марже покрытия 38 PLN на визит и кампании, стоившей 500 PLN целиком: 21 × 38 = 798 PLN, и 798 − 500 = 298 PLN. Положительно и заметно меньше, чем кажется в тот момент, когда кампанию утверждают. Если раздаётся блюдо или награда за лояльность, её себестоимость идёт внутрь Стоимости акции по собственному переменному расходу, и это предмет страницы о программе лояльности; что делать с результатом дальше — предмет окупаемости рекламы по марже.
Сколько нужно гостей, чтобы разницу вообще было видно
Измеренная доля блуждает. Повтори ту же кампанию через месяц на группе того же размера, не меняя больше ничего, — и обе доли лягут чуть иначе. Размер этого блуждания и есть стандартная ошибка, и она задаёт наименьшую разность, которую тебе позволено прочитать.
Стандартная ошибка доли — насколько сдвинулась бы измеренная доля, если повторить тот же опыт на группе того же размера. Она задаёт наименьшую разность, которую вообще можно прочитать.
Стандартная ошибка разности = √( p1 × (1 − p1) ÷ n1 + p2 × (1 − p2) ÷ n2 )
p1,p2— доли отклика двух групп, безразмерные доли от 0 до 1;n1,n2— число гостей в каждой группе, человек;- безразмерная величина, поделённая на количество и взятая под корень, остаётся безразмерной, той же природы, что и сама доля, поэтому результат читается в процентных пунктах.
В разборе: 0,16 × 0,84 ÷ 600 = 0,000224, 0,125 × 0,875 ÷ 600 = 0,00018229, сумма 0,00040629, а корень из неё 0,02016 — около 2,02 процентного пункта.
Ошибка доли: почему разница меньше собственного колебания нечитаема
Рабочее правило этой страницы: разность ниже удвоенной стандартной ошибки — не результат. Не маленький результат, не слабый и не такой, которому не хватило ещё недели: это замер, которого не было.
В разборе удвоенная стандартная ошибка равна 2 × 2,02 = 4,03 процентного пункта, а измеренная разность — 3,50. Значит честная фраза про ту кампанию звучит так: акция вполне могла сработать, и эта база слишком мала, чтобы это утверждать. Посчитанные двумя разделами выше 298 PLN — арифметика на разности, которая не установлена.
Порог этот — правило здравого смысла, названное вслух, а не статистический критерий. Строгая проверка гипотезы несёт оговорки, которым не поместиться на странице про работу ресторана, а выдать приближение за строгий критерий значило бы соврать ровно так же, как выдумать отраслевую норму. Польза порога в одном: он останавливает решение выкатить кампанию на всю базу на основании разности, которую никто не смог прочитать.
Развёрнутое обратно, то же неравенство отвечает на более полезную для планирования задачу — какого размера должны быть группы, чтобы разность заданной величины стала читаемой:
Гостей нужно в каждой группе = 4 × ( p1 × (1 − p1) + p2 × (1 − p2) ) ÷ d²
p1,p2— доли отклика, которых ты ждёшь, безразмерные;d— разность, которую хочется уметь прочитать, в тех же безразмерных единицах;- безразмерный числитель, поделённый на безразмерный квадрат, даёт чистое количество, человек.
Для долей разбора и разности в 3,5 процентного пункта: 4 × (0,1344 + 0,109375) ÷ 0,001225 = 0,9751 ÷ 0,001225 = 796 гостей в каждую группу, то есть около 1 592 в базе. Та же пара долей прочитает разность в 7 процентных пунктов уже на 199 гостях в группе: уменьши вдвое разность, которую хочется увидеть, и нужная группа вырастет вчетверо. Это самый полезный факт о размере опытов и причина, по которой малой базе стоит проверять крупное изменение, а не мелкое.
Что делать, когда разность не перебила порог
«Не измерено» и «не сработало» — две разные фразы, и путаница между ними стоит либо брошенной кампании, которая работала, либо раскатанной на всю базу, которая не работала. Выходов три, и все три честные; нечестен уже четвёртый — дописать в отчёт, что акция удалась.
Увеличь группы и повтори. Годится, когда база больше той, что ушла в опыт, а кампанию ты и так собираешься повторять. Формула размера группы с этой страницы говорит, сколько гостей нужно при тех долях, которые ты уже измерил, — а измерил ты их, даже если разность прочитать не вышло.
Проверяй изменение покрупнее, а не то же самое. Годится при малой базе и следует прямо из той же формулы: вдвое большая разность требует вчетверо меньшей группы. Мелкая скидка на малой базе нечитаема по арифметике, а не по исполнению.
Повтори ту же кампанию и сложи обе волны. Годится, когда между волнами в заведении ничего не менялось, а деление каждый раз делалось одним и тем же правилом. Две волны на одной базе — это большие группы, а не два отдельных результата, которые сравнивают между собой.
В отчёт при любом из трёх выходов идёт то, что вышло: измеренная разность, порог и фраза о том, что разность порога не перебила. Фраза звучит слабо, и она единственная, которая через квартал всё ещё будет верной.
Что делать, когда контрольную группу выделить нельзя
Иногда контрольная группа невозможна: предложение — плакат в окне, база — 200 человек, владелец не согласен обходить постоянных гостей. Сравнение тогда слабеет, и честный ход — сказать, насколько, а не делать вид, что всё в порядке.
Чередуй недели. Пускай предложение в нечётные недели и не пускай в чётные, достаточно долго. Так поглощаются медленные дрейфы, но не праздник, попавший в одну из половин.
Дели залы, а не базу. Два заведения сети, одно с предложением, другое без, а в следующем месяце — обмен. Так поглощаются календарь и погода и не поглощается разница между двумя районами.
Сравнивай с прогнозом, а не с прошлой неделей. Записанный прогноз с множителями календаря, погоды и событий даёт базу отсчёта, которая совпадающие причины уже содержит, — ровно для этого и существует прогнозирование спроса. Он поглощает всё, о чём модель знает, и ничего сверх того.
Все три способа стоит применять, и ни один из них не контрольная группа. Напиши в отчёт, каким из трёх ты воспользовался, и отчёт останется честным даже там, где ответ неясен. Это, кстати, первая из ситуаций в тексте про пять случаев, когда мы отговариваем от автоматизации: не мерить ничего дешевле, чем мерить не то, но дороже, чем мерить нужное плохо и знать об этом.
Чего контрольная группа не докажет: длинный след и репутационный эффект
Окно в тридцать дней меряет тридцать дней. Гость, который предложение сохранил, забыл и вернулся на одиннадцатой неделе, считается неоткликом, поэтому полученное число — пол, а не весь эффект. Расширение окна чинит это не бесплатно: чем длиннее окно, тем больше всего постороннего в него попадает, и разность между группами читается труднее, а не легче.
Три вещи, о которых контрольная группа молчит, и место им в отчёте, а не в споре три месяца спустя:
- Сдвинула ли кампания тех, у кого карточки не было никогда. Замер накрывает только названных по имени гостей. Плакат работает на улице, а улицы нет ни в одной из групп.
- Что предложение сделало с продажами по полной цене. Гости, которые пришли бы и так, а скидкой воспользовались, приростом не являются, и потраченная ими скидка — настоящий расход; эта арифметика принадлежит странице о безубыточности скидки, а не этой.
- Привела ли кампания кого-то нового. Новых гостей нет в базе на момент деления, значит их нет ни в одной из групп; их цена считается отдельно на странице о стоимости привлечения гостя, а откуда вообще берётся список названных по имени гостей — говорит страница о возвращающихся гостях.
Отчёт, который из всего этого выходит, короток и скучен: два размера групп, две доли отклика, одна разность в процентных пунктах, одна стандартная ошибка и фраза о том, перебивает ли разность её удвоенное значение. Скучный тут — достоинство: через квартал будет тот же отчёт, и через квартал он сойдётся с сегодняшним. Автоматизировать его написание стоит больше, чем автоматизировать саму рассылку: смотри автоматические отчёты и аналитику, а если ищется место старта — четыре порога и обзор того, что ресторан может автоматизировать.
Частые вопросы
Почему рост выручки после акции не доказывает, что она сработала?
Потому что он ставит рядом две недели, а не две группы, и между этими неделями изменились ещё погода, календарь, район и конкуренты. Каждая из этих разниц ложится в одно и то же число, а заслугу получает кампания. Контрольная группа их убирает, потому что обе группы живут одну и ту же неделю в одинаковых условиях.
Что такое контрольная группа и какого размера она должна быть?
Это та часть гостей, которой предложение нарочно не отправляют, чтобы их поведение показало, что случилось бы без кампании. Её размер — не дело вкуса: он следует из разности, которую хочется уметь прочитать. Подставь ожидаемые доли и эту разность в формулу размера группы с этой страницы, и ответ выйдет в гостях.
Как справедливо разделить базу гостей?
Правилом, закреплённым до кампании и не связанным с тем, сколько гость тратит, — последней цифры номера карточки достаточно. Всё, что отсортировано по среднему чеку, по уровню лояльности или по «кто давно не был», кладёт лучших гостей на одну сторону, а лучшие гости вернулись бы и без предложения.
Чем процентные пункты отличаются здесь от процентов?
Доля 16,00 % против 12,50 % — это разность в 3,50 процентного пункта и относительный прирост 28 %. Оба числа верны, отвечают на разное и не должны делить одну подпись. Пиши «процентные пункты» каждый раз, когда число является разностью двух долей, и тот же отчёт будет читаемым и через год.
Насколько малую разницу реально уловить?
Грубо — любую выше удвоенной стандартной ошибки разности, которую формула с этой страницы считает из твоих двух долей и двух размеров групп. Ниже этой границы число — не маленький эффект, а неизмеренный. Это названное вслух правило большого пальца, а не строгий статистический критерий, и служит оно здесь одному: остановить выкатывание кампании на всю базу по разности, которую никто не смог прочитать.
Что делать, если оставить без рассылки никого нельзя?
Чередуй кампанию по неделям, или пусти её в одном заведении сети и не пускай в другом, а потом поменяй их местами, или сравни результат с записанным прогнозом, который уже несёт множители календаря, погоды и событий. Все три слабее контрольной группы, все три заметно лучше графика «до и после», и в отчёте стоит сказать, какой из них применялся.
Первую контрольную группу можно выделить сегодня и бесплатно: не отправь ближайшую рассылку каждому десятому и закрепи окно наблюдения до того, как рассылка уйдёт. Одной кампанией позже на столе появится число, переживающее спор, — а остальная арифметика, превращающая его в деньги, живёт в ресторанном разделе.