Акцію оцінюють, порівнюючи дві зіставні групи гостей за один і той самий період: ту, що її отримала, і ту, яку навмисне лишили без неї. Різниця їхніх часток відгуку, помножена на розмір охопленої групи, дає приріст візитів. Різниця, менша за звичайне коливання тієї самої частки, не виміряна взагалі.
Кожне число в розборі нижче — навчальне, дібране так, щоб розрахунок можна було перевірити рядок за рядком. Жодне з них не є нормою, жодне не описує справжній заклад і жодне не годиться для перенесення у власний розрахунок. Офіційної статистики про те, наскільки акція піднімає кількість візитів до ресторану, не існує, і ця сторінка жодної не називає: у каталозі наборів Eurostat немає нічого про відгук на кампанію чи ефект акції для секції розміщення та харчування — єдині позиції зі словом «маркетинг» там це старі таблиці обстеження інновацій про види маркетингової інновації, — а розділ торгівлі польського статистичного відомства публікує обороти та методологічний зошит торговельної і гастрономічної діяльності, а не результати кампаній. Тому замість числа для переписування сторінка дає арифметику.
Чому «після акції виручка зросла» нічого не каже про акцію
Порівняння «до і після» ставить поруч два тижні, а не дві групи. Між цими тижнями в місті зрушило й усе інше: змінилася погода, випало свято, прийшли зарплати, конкурент за дві вулиці зачинився на ремонт, місцевий матч на один вечір заповнив район. Усе це лягає в одне число, а заслугу дістає кампанія.
Збіжна причина (confounder) — усе, що змінилося одночасно з кампанією і зрушило ресторан цілком: погода, свято, закриття конкурента, відгук, що саме тоді з'явився. Контрольна група поглинає збіжні причини, бо обидві групи проживають один і той самий тиждень. Порівняння «до і після» не поглинає нічого.
Три способи оцінити акцію і що кожен з них бере за ефект
| Спосіб | Що порівнює | Що бере за ефект | Коли все ж таки годиться |
|---|---|---|---|
| До і після | Тиждень кампанії з попереднім тижнем | Погоду, календар, день зарплати, закриття конкурента | Більше нічого не зрушило, і ти можеш назвати, що саме не зрушило |
| Рік до року | Тиждень кампанії з тим самим тижнем торік | Рік змін цін, змінене меню, змінений район | Заклад має довгу, рівну і записану історію |
| Охоплена проти контрольної | Дві групи гостей усередині одного тижня | Лише різницю між самими групами | Гості впізнавані, і частину з них можна лишити без розсилки |
Третій рядок — єдиний, у якого доданок похибки настільки малий, що його можна назвати вголос. На цьому й стоїть уся сторінка.
Що таке контрольна група і чому вона майже нічого не коштує
Контрольна група — гості, навмисне виключені з кампанії, щоб їхня поведінка показала, що сталося б і так.
Охоплена група — гості, які кампанію отримали. Вони зіставні з контрольною лише тоді, коли поділ зроблено до старту кампанії і за правилом, не пов'язаним з тим, скільки вони витрачають.
Контрольна група — не експеримент, за який платять. Це та частина розсилки, якої не роблять. Якщо кампанія йде дев'ятьом гостям з десяти замість десятьох, уся її ціна — маржа, яку приніс би десятий, і лише та його частка, яка взагалі відгукнулася б. Проти кампанії з невідомим ефектом це низька ціна за єдине число, що переживає суперечку.
Хоч би яким каналом ішла пропозиція, контрольна група визначається однаково: це рівно ті, кому не надіслали. Якщо розсилка автоматична, виключення має бути автоматичним разом з нею, інакше доброзичливий колега дошле десятому гостю пропозицію, «щоб нікого не образити», і розчинить увесь замір. Заведи виключення там, де живе розсилка, — у каналах повідомлень, а не в нотатці поруч.
Як поділити базу, щоб обидві половини були зіставні
Чесність поділу вирішують два правила, і обидва про момент, а не про статистику.
Поділ відбувається до кампанії, а не після. Група, зібрана після розсилки, — «порівняймо тих, хто скористався, з тими, хто не скористався» — ставить поруч людей, які пропозицію хотіли, і людей, які її не хотіли. Ця відмінність існувала до кампанії і лишиться після неї.
Правило не має стосунку до витрат. Сортування за останнім візитом, за середнім чеком чи за рівнем лояльності кладе кращих гостей на один бік, а кращі гості повернулися б і так.
Правила поділу і що кожне робить з порівнянням
| Правило поділу | Дає зіставні групи | Чим псує порівняння |
|---|---|---|
| Остання цифра номера картки гостя | Так | Нічим, якщо номер не видавався за витратами чи за рівнем |
| Абеткові половини прізвища | На практиці так | Майже нічим; сторожи район, де одна група прізвищ згущена |
| Пропозицію отримує кожен вище середнього чека | Ні | Охоплена група складається з кращих гостей ще до першого повідомлення |
| Кожен, хто не був три місяці | Ні | Групи різняться рівно тим, що вимірюється |
| Той, хто відкрив минулу розсилку | Ні | Охоплена група складається з тих, хто вже тебе читає |
| Той, кого управитель згадує з теплом | Ні | Неповторно і змінюється разом зі зміною |
Поділ живе в картках гостей, тож і робиться там, де ці картки лежать, а не в копії таблиці, що старіє в мить вивантаження, — дивись картки гостей, а якщо шар системи ще не обрано — статтю CRM чи ERP.
Частка відгуку: одна формула, дві множини, одне вікно
Частка відгуку — частина групи, що відвідала заклад усередині вікна спостереження.
Частка відгуку = Гості групи, які прийшли у вікні ÷ Гості в групі
Гості групи, які прийшли у вікні— кількість різних гостей цієї групи щонайменше з одним візитом усередині вікна, осіб;Гості в групі— розмір групи на момент поділу, осіб;- вікно одне й те саме в обох груп і задається до старту кампанії.
Задане заздалегідь вікно важить більше, ніж звучить. Вікно, обране заднім числом, завжди виявиться тим, яке кампанії лестить, а людина, що його обирає, цього за собою не помітить.
Розбір рахується на базі з 1 200 гостей із контактом, поділеній навпіл за останньою цифрою номера картки: 600 охоплених, 600 контрольних, вікно у тридцять днів.
- охоплена: прийшли 96 з 600, тобто
96 ÷ 600 = 0,16, це 16,00 %; - контрольна: прийшли 75 з 600, тобто
75 ÷ 600 = 0,125, це 12,50 %.
Приріст у відсоткових пунктах і приріст у візитах — різні числа
Приріст відгуку (incremental lift) — різниця часток відгуку охопленої та контрольної груп. Вимірюється у відсоткових пунктах, а не у відсотках.
Приріст (відсоткові пункти) = Частка відгуку (охоплена) − Частка відгуку (контрольна)
- обидва доданки — частки власної групи, безрозмірні;
- їхня різниця теж безрозмірна, а ім'я цієї різниці — відсоткові пункти.
16,00 % − 12,50 % = 3,50 відсоткового пункту.3,50 ÷ 12,50 = 0,28, тобто відносний приріст 28 %.Обидва числа правильні й не заміняють одне одного: одне — різниця, друге — відношення.
Це найчастіший спосіб збрехати числом про акцію — та сама родина пасток, що й у тексті про числа, на які власник справді дивиться.
Щоб приріст став тим, що відчуває кухня, потрібне ще одне множення:
Приріст візитів = Приріст (відсоткові пункти) × Гості в охопленій групі
Приріст— різниця двох часток, безрозмірна;Гості в охопленій групі— розмір охопленої групи, осіб;- добуток виходить у візитах.
У розборі 0,035 × 600 = 21 візит приросту. Саме цьому числу місце на екрані поруч із базою, а не сирій дев'яносто шістці — дивись панелі показників.
Як підписати обидва числа, щоб звіт читався і через рік
Різницю та відношення плутають у звітах не тому, що хтось не вміє ділити, а тому, що обом числам дістається один ярлик — «зростання». Підпис вирішує, чи зійдеться цей звіт із наступним, тож його варто встановити раз і триматися його.
| Число | Що це | Одиниця | Як підписувати |
|---|---|---|---|
| 16,00 % і 12,50 % | Частки відгуку обох груп | Відсоток від власної групи | «частка відгуку, охоплена / контрольна» |
| 3,50 | Різниця цих двох часток | Відсоткові пункти | «приріст, відсоткові пункти» — ніколи зі знаком відсотка |
| 28 % | Та сама різниця, поділена на частку контрольної | Відсоток від бази порівняння | «приріст відносно контрольної групи» |
| 21 | Різниця, перенесена на розмір охопленої групи | Візити | «візити приросту, охоплена група» |
Перевірка підпису проста: прочитай фразу вголос тому, хто не бачив розрахунку, і подивись, чи зможе він сказати, що стояло в знаменнику.
Приріст у грошах: спершу маржа покриття, потім вартість акції
Візити стають грошима лише після множення на те, що візит лишає по собі.
Приріст маржі = Приріст візитів × Маржа покриття на гостя − Вартість акції
Приріст візитів— візити, додані кампанією, візити;Маржа покриття на гостя— те, що лишається від одного візиту після змінних витрат, PLN на візит;Вартість акції— усе, що кампанія з'їла: собівартість роздаваного, плата каналу, робота дизайнера, PLN;- візити, помножені на PLN за візит, дають PLN, а PLN мінус PLN — це PLN.
Маржі покриття ця сторінка не визначає: у терміна вже є господар. Цитата зі стовпа про точку беззбитковості дослівно: «Маржа покриття — це гроші, що лишаються від чистого продажу після змінних витрат і йдуть на покриття постійних витрат, а коли ті вже покриті, стають прибутком. Виражена як частка чистого продажу, вона зветься коефіцієнтом маржі покриття; виражена на одного гостя — маржею покриття на гостя.»
У розборі, за маржі покриття 38 PLN на візит і кампанії, що коштувала 500 PLN цілком: 21 × 38 = 798 PLN, і 798 − 500 = 298 PLN. Додатно і помітно менше, ніж здається в ту мить, коли кампанію затверджують. Якщо роздається страва чи нагорода за лояльність, її собівартість іде всередину Вартості акції за власною змінною витратою, і це предмет сторінки про програму лояльності; що робити з результатом далі — предмет окупності реклами за маржею.
Скільки потрібно гостей, щоб різницю взагалі було видно
Виміряна частка блукає. Повтори ту саму кампанію за місяць на групі того самого розміру, не змінюючи більше нічого, — і обидві частки ляжуть трохи інакше. Розмір цього блукання і є стандартна похибка, і саме вона задає найменшу різницю, яку тобі дозволено прочитати.
Стандартна похибка частки — наскільки зсунулася б виміряна частка, якби той самий дослід повторили на групі того самого розміру. Вона задає найменшу різницю, яку взагалі можна прочитати.
Стандартна похибка різниці = √( p1 × (1 − p1) ÷ n1 + p2 × (1 − p2) ÷ n2 )
p1,p2— частки відгуку двох груп, безрозмірні частки від 0 до 1;n1,n2— кількість гостей у кожній групі, осіб;- безрозмірна величина, поділена на кількість і взята під корінь, лишається безрозмірною, тієї самої природи, що й сама частка, тож результат читається у відсоткових пунктах.
У розборі: 0,16 × 0,84 ÷ 600 = 0,000224, 0,125 × 0,875 ÷ 600 = 0,00018229, сума 0,00040629, а корінь із неї 0,02016 — близько 2,02 відсоткового пункту.
Похибка частки: чому різниця, менша за власне коливання, нечитабельна
Робоче правило цієї сторінки: різниця нижча за подвоєну стандартну похибку — не результат. Не малий результат, не слабкий і не такий, якому забракло ще тижня: це замір, якого не було.
У розборі подвоєна стандартна похибка дорівнює 2 × 2,02 = 4,03 відсоткового пункту, а виміряна різниця — 3,50. Отже, чесна фраза про ту кампанію звучить так: акція цілком могла спрацювати, і ця база замала, щоб це стверджувати. Пораховані двома розділами вище 298 PLN — арифметика на різниці, яку не встановлено.
Цей поріг — правило здорового глузду, сказане вголос, а не статистичний критерій. Сувора перевірка гіпотези несе застереження, яким не вміститися на сторінці про роботу ресторану, а видати наближення за суворий критерій означало б збрехати достеменно так само, як вигадати галузеву норму. Користь порога в одному: він зупиняє рішення викотити кампанію на всю базу на підставі різниці, якої ніхто не зміг прочитати.
Розгорнута навпаки, та сама нерівність відповідає на кориснішу для планування задачу — якого розміру мають бути групи, щоб різниця заданої величини стала читабельною:
Гостей потрібно в кожній групі = 4 × ( p1 × (1 − p1) + p2 × (1 − p2) ) ÷ d²
p1,p2— частки відгуку, на які ти чекаєш, безрозмірні;d— різниця, яку хочеться вміти прочитати, у тих самих безрозмірних одиницях;- безрозмірний чисельник, поділений на безрозмірний квадрат, дає чисту кількість, осіб.
Для часток розбору й різниці у 3,5 відсоткового пункту: 4 × (0,1344 + 0,109375) ÷ 0,001225 = 0,9751 ÷ 0,001225 = 796 гостей у кожну групу, тобто близько 1 592 в базі. Та сама пара часток прочитає різницю у 7 відсоткових пунктів уже на 199 гостях у групі: зменш удвічі різницю, яку хочеться побачити, і потрібна група виросте вчетверо. Це найкорисніший факт про розмір дослідів і причина, з якої малій базі варто перевіряти велику зміну, а не дрібну.
Що робити, коли різниця не перебила поріг
«Не виміряно» і «не спрацювало» — дві різні фрази, і плутанина між ними коштує або покинутої кампанії, яка працювала, або розкоченої на всю базу, яка не працювала. Виходів три, і всі три чесні; нечесний уже четвертий — дописати у звіт, що акція вдалася.
Збільш групи і повтори. Годиться, коли база більша за ту, що пішла в дослід, а кампанію ти й так збираєшся повторювати. Формула розміру групи з цієї сторінки каже, скільки гостей потрібно за тих часток, які ти вже виміряв, — а виміряв ти їх, навіть якщо різницю прочитати не вийшло.
Перевіряй більшу зміну, а не ту саму. Годиться за малої бази і випливає прямо з тієї самої формули: удвічі більша різниця потребує вчетверо меншої групи. Дрібна знижка на малій базі нечитабельна за арифметикою, а не за виконанням.
Повтори ту саму кампанію і склади обидві хвилі. Годиться, коли між хвилями в закладі нічого не змінювалося, а поділ щоразу робився тим самим правилом. Дві хвилі на одній базі — це більші групи, а не два окремі результати, які порівнюють між собою.
У звіт за будь-якого з трьох виходів іде те, що вийшло: виміряна різниця, поріг і фраза про те, що різниця порога не перебила. Фраза звучить слабко, і вона єдина, яка за квартал усе ще буде правильною.
Що робити, коли контрольну групу виділити не можна
Іноді контрольна група неможлива: пропозиція — плакат у вікні, база — 200 осіб, власник не згоден обходити постійних гостей. Порівняння тоді слабшає, і чесний хід — сказати, наскільки, а не вдавати, що все гаразд.
Чергуй тижні. Пускай пропозицію в непарні тижні й не пускай у парні, достатньо довго. Так поглинаються повільні дрейфи, але не свято, що потрапило в одну з половин.
Ділі зали, а не базу. Два заклади мережі, один з пропозицією, другий без, а наступного місяця — обмін. Так поглинаються календар і погода і не поглинається різниця між двома районами.
Порівнюй із прогнозом, а не з минулим тижнем. Записаний прогноз із множниками календаря, погоди та подій дає базу відліку, яка збіжні причини вже містить, — саме для цього й існує прогнозування попиту. Він поглинає все, про що модель знає, і нічого понад те.
Усі три способи варто застосовувати, і жоден з них не є контрольною групою. Напиши у звіт, яким із трьох ти скористався, і звіт лишиться чесним і там, де відповідь неясна. Це, до речі, перша із ситуацій у тексті про п'ять випадків, коли ми відмовляємо від автоматизації: не міряти нічого дешевше, ніж міряти не те, але дорожче, ніж міряти потрібне погано і знати про це.
Чого контрольна група не доведе: довгий слід і репутаційний ефект
Вікно у тридцять днів міряє тридцять днів. Гість, який пропозицію зберіг, забув і повернувся на одинадцятому тижні, рахується як невідгук, тому отримане число — підлога, а не весь ефект. Розширення вікна лагодить це не безкоштовно: що довше вікно, то більше стороннього до нього потрапляє, і різниця між групами читається важче, а не легше.
Три речі, про які контрольна група мовчить, і місце їм у звіті, а не в суперечці три місяці по тому:
- Чи зрушила кампанія тих, у кого картки не було ніколи. Замір накриває лише названих на ім'я гостей. Плакат працює на вулиці, а вулиці немає в жодній із груп.
- Що пропозиція зробила з продажем за повною ціною. Гості, які прийшли б і так, а знижкою скористалися, приростом не є, і витрачена ними знижка — справжня витрата; ця арифметика належить сторінці про беззбитковість знижки, а не цій.
- Чи привела кампанія когось нового. Нових гостей немає в базі на момент поділу, отже, їх немає в жодній із груп; їхня ціна рахується окремо на сторінці про вартість залучення гостя, а звідки взагалі береться список названих на ім'я гостей — каже сторінка про гостей, що повертаються.
Звіт, який з усього цього виходить, короткий і нудний: два розміри груп, дві частки відгуку, одна різниця у відсоткових пунктах, одна стандартна похибка і фраза про те, чи перебиває різниця її подвоєне значення. Нудний тут — перевага: за квартал буде той самий звіт, і за квартал він зійдеться з сьогоднішнім. Автоматизувати його написання варте більше, ніж автоматизувати саму розсилку: дивись автоматичні звіти та аналітику, а якщо шукається місце старту — чотири пороги і огляд того, що ресторан може автоматизувати.
Часті питання
Чому зростання виручки після акції не доводить, що вона спрацювала?
Бо воно ставить поруч два тижні, а не дві групи, і між цими тижнями змінилися ще погода, календар, район і конкуренти. Кожна з цих відмінностей лягає в одне й те саме число, а заслугу дістає кампанія. Контрольна група їх прибирає, бо обидві групи проживають один і той самий тиждень в однакових умовах.
Що таке контрольна група і якого розміру вона має бути?
Це та частина гостей, якій пропозицію навмисне не надсилають, щоб їхня поведінка показала, що сталося б без кампанії. Її розмір — не справа смаку: він випливає з різниці, яку хочеться вміти прочитати. Підстав очікувані частки і цю різницю у формулу розміру групи з цієї сторінки, і відповідь вийде в гостях.
Як справедливо поділити базу гостей?
Правилом, закріпленим до кампанії і не пов'язаним з тим, скільки гість витрачає, — останньої цифри номера картки достатньо. Усе, що відсортовано за середнім чеком, за рівнем лояльності чи за «хто давно не був», кладе кращих гостей на один бік, а кращі гості повернулися б і без пропозиції.
Чим відсоткові пункти відрізняються тут від відсотків?
Частка 16,00 % проти 12,50 % — це різниця в 3,50 відсоткового пункту і відносний приріст 28 %. Обидва числа правильні, відповідають на різне і не мають ділити один підпис. Пиши «відсоткові пункти» щоразу, коли число є різницею двох часток, і той самий звіт буде читабельним і за рік.
Наскільки малу різницю реально вловити?
Грубо — будь-яку вищу за подвоєну стандартну похибку різниці, яку формула з цієї сторінки рахує з твоїх двох часток і двох розмірів груп. Нижче цієї межі число — не малий ефект, а невиміряний. Це назване вголос правило великого пальця, а не суворий статистичний критерій, і служить воно тут одному: зупинити викочування кампанії на всю базу за різницею, якої ніхто не зміг прочитати.
Що робити, якщо лишити без розсилки нікого не можна?
Чергуй кампанію по тижнях, або пусти її в одному закладі мережі й не пускай у другому, а потім поміняй їх місцями, або порівняй результат із записаним прогнозом, який уже несе множники календаря, погоди та подій. Усі три слабші за контрольну групу, усі три помітно кращі за графік «до і після», і у звіті варто сказати, який із них застосовувався.
Першу контрольну групу можна виділити сьогодні і безкоштовно: не надсилай найближчу розсилку кожному десятому і закріпи вікно спостереження до того, як розсилка піде. Однією кампанією пізніше на столі з'явиться число, що переживе суперечку, — а решта арифметики, яка перетворює його на гроші, живе в ресторанному розділі.