Promocję ocenia się, porównując dwie porównywalne grupy gości w tym samym okresie: jedną, która ją dostała, i drugą, celowo pominiętą. Różnica między ich odsetkami wizyt, pomnożona przez wielkość grupy objętej akcją, daje przyrost wizyt. Różnica mniejsza niż zwykłe wahanie tego samego wskaźnika nie została zmierzona w ogóle.
Każda liczba w przykładzie poniżej jest liczbą dydaktyczną, dobraną tak, żeby rachunek dało się sprawdzić wiersz po wierszu. Żadna z nich nie jest normą branżową, żadna nie opisuje prawdziwego lokalu i żadnej nie należy przenosić do własnego wyliczenia. Nie istnieje oficjalna statystyka mówiąca, o ile promocja podnosi liczbę wizyt w restauracji, i ta strona żadnej nie podaje: katalog zbiorów Eurostatu nie zawiera niczego o odzewie na kampanię ani o efekcie promocji dla sekcji zakwaterowania i gastronomii — jedyne pozycje ze słowem marketing to stare tablice z badania innowacyjności o rodzajach innowacji marketingowej — a dział handlu w GUS publikuje obroty i zeszyt metodologiczny działalności handlowej i gastronomicznej, nie wyniki kampanii. Zamiast liczby do przepisania dostajesz więc arytmetykę.
Dlaczego "po promocji sprzedaż wzrosła" nie mówi nic o promocji
Porównanie "przed i po" zestawia dwa tygodnie, a nie dwie grupy. Między tymi tygodniami ruszyło się w mieście wszystko inne: zmieniła się pogoda, wypadło święto, wpłynęły wypłaty, konkurent dwie ulice dalej zamknął się na remont, lokalny mecz wypełnił dzielnicę na jeden wieczór. To wszystko ląduje w tej samej liczbie, a zasługę przypisujesz kampanii.
Czynnik zakłócający (ang. confounder) — cokolwiek zmieniło się równocześnie z kampanią i poruszyło całą restauracją naraz: pogoda, święto, zamknięcie konkurenta, opinia, która akurat się pojawiła. Grupa kontrolna pochłania czynniki zakłócające, bo obie grupy przeżywają ten sam tydzień. Porównanie "przed i po" nie pochłania niczego.
Trzy sposoby oceny promocji i to, co każdy z nich bierze za efekt
| Sposób | Co porównuje | Co bierze za efekt | Kiedy mimo wszystko się nadaje |
|---|---|---|---|
| Przed i po | Tydzień kampanii z tygodniem poprzednim | Pogodę, kalendarz, dzień wypłaty, zamknięcie konkurenta | Nic innego się nie ruszyło i potrafisz nazwać, co się nie ruszyło |
| Rok do roku | Tydzień kampanii z tym samym tygodniem rok wcześniej | Rok zmian cen, zmienione menu, zmienioną okolicę | Lokal ma długą, stabilną i spisaną historię |
| Grupa objęta akcją wobec kontrolnej | Dwie grupy gości w tym samym tygodniu | Wyłącznie różnicę między samymi grupami | Twoi goście są rozpoznawalni i część z nich da się pominąć |
Trzeci wiersz jako jedyny ma na tyle mały składnik błędu, żeby dało się go nazwać. I na tym opiera się cała ta strona.
Czym jest grupa kontrolna i dlaczego prawie nic nie kosztuje
Grupa kontrolna — goście celowo pominięci w kampanii po to, by ich zachowanie pokazało, co wydarzyłoby się i tak.
Grupa objęta akcją — goście, którzy kampanię dostali. Są porównywalni z kontrolną tylko wtedy, gdy podziału dokonano przed startem kampanii i według reguły niezwiązanej z tym, ile wydają.
Grupa kontrolna nie jest eksperymentem, za który płacisz. To ta część wysyłki, której nie robisz. Jeśli kampania idzie do dziewięciu gości na dziesięciu zamiast do dziesięciu, całym kosztem jest marża, którą zarobiłbyś na tym dziesiątym — i to tylko na tej jego części, która w ogóle by odpowiedziała. Wobec kampanii o nieznanym efekcie to niska cena za jedyną liczbę, która przetrwa spór.
Niezależnie od tego, jakim kanałem idzie oferta, grupa kontrolna definiuje się tak samo: to dokładnie ci, do których nie wysłałeś. Jeśli wysyłka jest zautomatyzowana, wykluczenie musi być zautomatyzowane razem z nią, bo inaczej życzliwy kolega dośle dziesiątemu gościowi ofertę, "żeby nikogo nie pominąć", i rozpuści cały pomiar. Ustaw wykluczenie tam, gdzie mieszka wysyłka — w kanałach wiadomości — a nie w notatce obok.
Jak podzielić bazę, żeby obie połowy były porównywalne
O uczciwości podziału decydują dwie reguły i obie dotyczą raczej momentu niż statystyki.
Podział następuje przed kampanią, nie po niej. Grupa zebrana po wysyłce — "porównajmy tych, którzy skorzystali, z tymi, którzy nie skorzystali" — zestawia ludzi, którzy oferty chcieli, z ludźmi, którzy jej nie chcieli. Ta różnica istniała przed kampanią i będzie istniała po niej.
Reguła nie ma nic wspólnego z wydatkami. Sortowanie po ostatniej wizycie, po średnim rachunku albo po poziomie lojalnościowym ustawia lepszych gości po jednej stronie, a lepsi goście wróciliby i tak.
Reguły podziału i to, co każda robi z porównaniem
| Reguła podziału | Daje porównywalne grupy | Czym psuje porównanie |
|---|---|---|
| Ostatnia cyfra numeru karty gościa | Tak | Niczym, o ile numer nie był nadawany według wydatków ani poziomu |
| Alfabetyczne połowy nazwiska | W praktyce tak | Prawie niczym; uważaj na dzielnicę, gdzie jedna grupa nazwisk jest skupiona |
| Ofertę dostaje każdy powyżej średniego rachunku | Nie | Grupa objęta akcją składa się z lepszych gości, zanim poszła jedna wiadomość |
| Każdy, kto nie był od trzech miesięcy | Nie | Grupy różnią się dokładnie tym, co mierzysz |
| Ten, kto otworzył ostatni newsletter | Nie | Grupa objęta akcją składa się z ludzi, którzy już cię czytają |
| Ten, kogo menedżer dobrze wspomina | Nie | Nie do powtórzenia i zmienia się razem z obsadą zmiany |
Podział mieszka w kartotece gości, więc robi się go tam, gdzie ta kartoteka leży, a nie w kopii arkusza, która starzeje się w chwili eksportu — zobacz kartotekę gości, a jeśli pytanie o warstwę systemu wciąż jest otwarte, artykuł CRM czy ERP.
Odsetek odzewu: jeden wzór, dwa zbiory, jedno okno
Odsetek odzewu — udział grupy, który odwiedził lokal w oknie obserwacji.
Odsetek odzewu = Goście grupy, którzy przyszli w oknie ÷ Goście w grupie
Goście grupy, którzy przyszli w oknie— liczba różnych gości z tej grupy z co najmniej jedną wizytą w oknie, osoby;Goście w grupie— wielkość grupy w chwili podziału, osoby;- okno jest jedno i to samo dla obu grup i ustala się je przed startem kampanii.
Ustalenie okna z góry znaczy więcej, niż brzmi. Okno wybrane po fakcie zawsze okaże się tym, które kampanii schlebia, a osoba, która je wybiera, nie zauważy, że tak robi.
Przykład liczy się na bazie 1 200 gości z kontaktem, podzielonej na pół ostatnią cyfrą numeru karty: 600 objętych akcją, 600 w kontrolnej, okno trzydziestu dni.
- objęci akcją: przyszło 96 z 600, czyli
96 ÷ 600 = 0,16, to jest 16,00 %; - kontrolna: przyszło 75 z 600, czyli
75 ÷ 600 = 0,125, to jest 12,50 %.
Przyrost w punktach procentowych i przyrost w wizytach to dwie różne liczby
Przyrost przyrostowy (ang. incremental lift) — różnica odsetków odzewu grupy objętej akcją i grupy kontrolnej. Mierzy się go w punktach procentowych, a nie w procentach.
Przyrost (punkty procentowe) = Odsetek odzewu (objęci akcją) − Odsetek odzewu (kontrolna)
- oba składniki są udziałami własnej grupy i są bezwymiarowe;
- ich różnica też jest bezwymiarowa, a nazywa się ją punktami procentowymi.
16,00 % − 12,50 % = 3,50 punktu procentowego.3,50 ÷ 12,50 = 0,28, czyli przyrost względny 28 %.Obie liczby są prawdziwe i nie są wymienne: jedna jest różnicą, druga ilorazem.
To najczęstszy sposób, w jaki liczba o promocji kłamie — ta sama rodzina pułapek co w tekście o liczbach, na które właściciel naprawdę patrzy.
Zamiana przyrostu na coś, co czuje kuchnia, wymaga jeszcze jednego mnożenia:
Przyrost wizyt = Przyrost (punkty procentowe) × Goście w grupie objętej akcją
Przyrost— różnica dwóch udziałów, bezwymiarowa;Goście w grupie objętej akcją— wielkość grupy objętej akcją, osoby;- iloczyn wychodzi więc w wizytach.
W przykładzie 0,035 × 600 = 21 wizyt przyrostowych. To ta liczba ma stać na ekranie obok bazy, a nie surowe 96 — zobacz pulpity.
Jak podpisać obie liczby, żeby raport dało się czytać za rok
Różnicę i iloraz myli się w raportach nie dlatego, że ktoś nie umie dzielić, tylko dlatego, że obie liczby dostają tę samą etykietę „wzrost". Podpis rozstrzyga, czy ten raport zejdzie się z następnym, więc warto ustalić go raz i się go trzymać.
| Liczba | Czym jest | Jednostka | Jak podpisać |
|---|---|---|---|
| 16,00 % i 12,50 % | Odsetki odzewu obu grup | Procent własnej grupy | „odsetek odzewu, grupa objęta akcją / kontrolna" |
| 3,50 | Różnica tych dwóch odsetków | Punkty procentowe | „przyrost, punkty procentowe" — nigdy ze znakiem procentu |
| 28 % | Ta sama różnica podzielona przez odsetek kontrolnej | Procent podstawy porównania | „przyrost względem grupy kontrolnej" |
| 21 | Różnica przeniesiona na wielkość grupy objętej akcją | Wizyty | „wizyty przyrostowe, grupa objęta akcją" |
Test podpisu jest prosty: przeczytaj zdanie na głos komuś, kto nie widział wyliczenia, i sprawdź, czy potrafi powiedzieć, co stało w mianowniku.
Przyrost w pieniądzu: najpierw marża pokrycia, potem koszt akcji
Wizyty stają się pieniędzmi dopiero pomnożone przez to, co po wizycie zostaje.
Przyrost marży = Przyrost wizyt × Marża pokrycia na gościa − Koszt akcji
Przyrost wizyt— wizyty dołożone przez kampanię, wizyty;Marża pokrycia na gościa— to, co zostaje z jednej wizyty po kosztach zmiennych, zł na wizytę;Koszt akcji— wszystko, co kampania zjadła: koszt rozdanego, opłata kanału, projekt graficzny, zł;- wizyty razy zł na wizytę dają zł, a zł minus zł to zł.
Marży pokrycia ta strona nie definiuje, bo termin ma już swojego gospodarza. Cytat z filaru o progu rentowności, słowo w słowo: "Marża pokrycia (ang. contribution margin) — pieniądze, które zostają ze sprzedaży netto po odjęciu kosztów zmiennych, dostępne na pokrycie kosztów stałych, a po ich pokryciu stające się zyskiem. Wyrażona jako udział w sprzedaży netto jest wskaźnikiem marży pokrycia; wyrażona na jednego gościa — marżą pokrycia na gościa."
W przykładzie, przy marży pokrycia 38 zł na wizytę i kampanii, która kosztowała łącznie 500 zł: 21 × 38 = 798 zł, a 798 − 500 = 298 zł. Dodatnio i o wiele mniej, niż ktokolwiek zakłada w chwili zatwierdzania kampanii. Jeśli rozdajesz danie albo nagrodę lojalnościową, jej koszt należy do Kosztu akcji w wysokości własnego kosztu zmiennego, a to temat strony o programie lojalnościowym; co zrobić z wynikiem dalej, należy do zwrotu z reklamy liczonego na marży.
Ilu gości potrzeba, żeby różnicę w ogóle było widać
Zmierzony udział błądzi. Powtórz tę samą kampanię za miesiąc na grupie tej samej wielkości, nie zmieniając niczego innego, a oba odsetki wypadną nieco gdzie indziej. Wielkość tego błądzenia to błąd standardowy i to on wyznacza najmniejszą różnicę, którą wolno ci odczytać.
Błąd standardowy udziału — o ile zmierzony udział by się przesunął, gdyby ten sam eksperyment powtórzyć na grupie tej samej wielkości. Wyznacza najmniejszą różnicę, jaką w ogóle da się odczytać.
Błąd standardowy różnicy = √( p1 × (1 − p1) ÷ n1 + p2 × (1 − p2) ÷ n2 )
p1,p2— odsetki odzewu obu grup, bezwymiarowe udziały od 0 do 1;n1,n2— liczba gości w każdej grupie, osoby;- wielkość bezwymiarowa podzielona przez liczebność i spierwiastkowana pozostaje bezwymiarowa, tej samej natury co sam udział, więc wynik czyta się w punktach procentowych.
W przykładzie: 0,16 × 0,84 ÷ 600 = 0,000224, 0,125 × 0,875 ÷ 600 = 0,00018229, suma to 0,00040629, a pierwiastek z niej 0,02016 — około 2,02 punktu procentowego.
Dlaczego różnicy mniejszej niż własne wahanie nie da się odczytać
Reguła robocza tej strony: różnica poniżej podwojonego błędu standardowego nie jest wynikiem. Nie jest wynikiem małym, słabym ani takim, któremu brakuje jeszcze tygodnia — jest pomiarem, który się nie odbył.
W przykładzie podwojony błąd standardowy to 2 × 2,02 = 4,03 punktu procentowego, a zmierzona różnica wynosi 3,50. Uczciwe zdanie o tej kampanii brzmi więc: promocja mogła zadziałać, a ta baza jest za mała, żeby to stwierdzić. Wyliczone dwie sekcje wyżej 298 zł to arytmetyka na różnicy, której nie ustalono.
Ten próg jest regułą zdrowego rozsądku powiedzianą na głos, a nie testem statystycznym. Formalny test hipotezy niesie zastrzeżenia, które nie mieszczą się na stronie o prowadzeniu restauracji, a przebranie przybliżenia za kryterium formalne byłoby tym samym rodzajem kłamstwa co wymyślenie normy branżowej. Próg przydaje się do jednej rzeczy: powstrzymuje decyzję o wypuszczeniu kampanii na całą bazę na podstawie różnicy, której nikt nie umiał odczytać.
Odwrócenie tej samej nierówności odpowiada na bardziej praktyczne zagadnienie planowania — jak duże muszą być grupy, żeby różnica danej wielkości stała się czytelna:
Goście potrzebni w każdej grupie = 4 × ( p1 × (1 − p1) + p2 × (1 − p2) ) ÷ d²
p1,p2— odsetki odzewu, których się spodziewasz, bezwymiarowe;d— różnica, którą chcesz umieć odczytać, w tych samych bezwymiarowych jednostkach;- licznik bezwymiarowy podzielony przez bezwymiarowy kwadrat daje czystą liczebność, osoby.
Dla odsetków z przykładu i różnicy 3,5 punktu procentowego: 4 × (0,1344 + 0,109375) ÷ 0,001225 = 0,9751 ÷ 0,001225 = 796 gości w każdej grupie, czyli około 1 592 w bazie. Ta sama para odsetków odczyta różnicę 7 punktów procentowych już przy 199 gościach na grupę: zmniejsz o połowę różnicę, którą chcesz zobaczyć, a potrzebna grupa urośnie czterokrotnie. To najbardziej użyteczny fakt o wielkości eksperymentów i powód, dla którego mała baza powinna testować dużą zmianę, a nie drobną.
Co zrobić, kiedy różnica nie przebija progu
„Nie zmierzono" i „nie zadziałało" to dwa różne zdania, a mylenie ich kosztuje albo porzuconą kampanię, która działała, albo rozwiniętą na całą bazę, która nie działała. Wyjścia są trzy i wszystkie trzy są uczciwe; nieuczciwe jest dopiero czwarte — dopisać do raportu, że akcja się udała.
Powiększ grupy i powtórz. Nadaje się, gdy baza jest większa od tej, która poszła do testu, a kampanię i tak zamierzasz powtarzać. Wzór na wielkość grupy z tej strony mówi, ilu gości potrzeba przy odsetkach, które już zmierzyłeś — a zmierzyłeś je, nawet jeśli różnicy nie dało się odczytać.
Testuj większą zmianę, a nie tę samą. Nadaje się przy małej bazie i wynika wprost z tego samego wzoru: dwukrotnie większa różnica wymaga czterokrotnie mniejszej grupy. Drobny rabat na małej bazie jest nieczytelny z arytmetyki, a nie z powodu wykonania.
Powtórz tę samą kampanię i złóż obie tury. Nadaje się, gdy między turami nic w lokalu się nie zmieniło, a podziału za każdym razem dokonano tą samą regułą. Dwie tury na tej samej bazie to większe grupy, a nie dwa osobne wyniki do porównania ze sobą.
Do raportu przy każdym z tych wyjść wpisuje się to, co wyszło: zmierzoną różnicę, próg i zdanie, że różnica progu nie przebiła. Zdanie brzmi słabo i jest jedynym, które za kwartał nadal będzie prawdziwe.
Co robić, kiedy grupy kontrolnej nie da się wydzielić
Czasem grupa kontrolna jest niemożliwa: oferta to plakat w oknie, baza liczy 200 osób, właściciel nie zgadza się pomijać stałych gości. Porównanie robi się wtedy słabsze, a uczciwy ruch polega na tym, żeby powiedzieć o ile, a nie udawać, że jest inaczej.
Przeplataj tygodnie. Puszczaj ofertę w tygodniach nieparzystych, a w parzystych nie, przez odpowiednio długi czas. Pochłania powolne dryfy, ale nie święto, które wypadnie w jednej z połówek.
Podziel sale zamiast bazy. Dwa lokale w sieci, jeden z ofertą i jeden bez, a w kolejnym miesiącu zamiana. Pochłania kalendarz i pogodę, nie pochłania różnicy między dwiema okolicami.
Porównuj z prognozą, a nie z zeszłym tygodniem. Spisana prognoza z czynnikami kalendarza, pogody i wydarzeń daje bazę odniesienia, która czynniki zakłócające już zawiera — po to właśnie jest prognozowanie popytu. Pochłania wszystko, o czym model wie, i nic poza tym.
Wszystkie trzy warto robić i żadne z nich nie jest grupą kontrolną. Napisz w raporcie, którego z trzech użyłeś, a raport zostanie uczciwy nawet wtedy, gdy odpowiedź jest niejasna. To zresztą pierwsza z sytuacji wymienionych w tekście o pięciu przypadkach, w których odradzamy automatyzację: nie mierzyć nic jest taniej niż mierzyć nie to, ale nie jest taniej niż mierzyć to co trzeba źle i o tym wiedzieć.
Czego grupa kontrolna nie udowodni: długi ślad i efekt reputacyjny
Okno trzydziestodniowe mierzy trzydzieści dni. Gość, który ofertę zachował, zapomniał o niej i wrócił w jedenastym tygodniu, liczy się jako brak odzewu, więc otrzymana liczba jest podłogą, a nie całym efektem. Poszerzanie okna nie naprawia tego za darmo: im dłuższe okno, tym więcej wszystkiego innego się w nim mieści, a różnicę między grupami czyta się trudniej, nie łatwiej.
Trzy rzeczy, których grupa kontrolna ci nie powie, i miejsce na nie jest w raporcie, a nie w sporze trzy miesiące później:
- Czy kampania poruszyła ludzi, którzy nigdy nie mieli karty. Pomiar obejmuje gości z imienia. Plakat działa na ulicy, a ulica nie jest w żadnej z grup.
- Co oferta zrobiła ze sprzedażą w pełnej cenie. Goście, którzy przyszliby i tak, a skorzystali z rabatu, nie są przyrostem, a wykorzystany rabat jest realnym kosztem — ta arytmetyka należy do strony o progu opłacalności rabatu, nie do tej.
- Czy kampania przyprowadziła kogoś nowego. Nowi goście nie są w bazie w chwili podziału, więc nie mogą być w żadnej z grup; ich koszt liczy się osobno na stronie o koszcie pozyskania gościa, a skąd w ogóle bierze się lista gości z imienia, mówi strona o gościach powracających.
Raport, który z tego wszystkiego wychodzi, jest krótki i nudny: dwie wielkości grup, dwa odsetki odzewu, jedna różnica w punktach procentowych, jeden błąd standardowy i zdanie o tym, czy różnica przebija jego dwukrotność. Nudny jest tu zaletą — za kwartał będzie to ten sam raport, a za kwartał będzie się porównywał. Zautomatyzowanie jego pisania jest warte więcej niż zautomatyzowanie wysyłki kampanii: zobacz raporty automatyczne i analitykę, a jeśli szukasz miejsca na start — cztery progi i przegląd tego, co restauracja może zautomatyzować.
Najczęściej zadawane pytania
Dlaczego wzrost sprzedaży po promocji nie jest dowodem, że zadziałała?
Bo zestawia dwa tygodnie, a nie dwie grupy, a między tymi tygodniami zmieniły się także pogoda, kalendarz, okolica i konkurenci. Każda z tych różnic ląduje w tej samej liczbie, a zasługę dostaje kampania. Grupa kontrolna je usuwa, bo obie grupy przeżywają ten sam tydzień w tych samych warunkach.
Czym jest grupa kontrolna i jak duża powinna być?
To ta część gości, do której celowo nie wysyłasz oferty, żeby ich zachowanie pokazało, co wydarzyłoby się bez kampanii. Jej wielkość nie jest kwestią gustu: wynika z różnicy, którą chcesz umieć odczytać. Wstaw spodziewane odsetki i tę różnicę do wzoru na wielkość grupy z tej strony, a odpowiedź wyjdzie w gościach.
Jak sprawiedliwie podzielić bazę gości?
Regułą ustaloną przed kampanią i niezwiązaną z tym, ile gość wydaje — ostatnia cyfra numeru karty wystarczy. Wszystko sortowane po średnim rachunku, po poziomie lojalnościowym albo po "kto dawno nie był" ustawia lepszych gości po jednej stronie, a lepsi goście wróciliby bez twojej oferty.
Jaka jest tutaj różnica między punktami procentowymi a procentami?
Odsetek 16,00 % wobec 12,50 % to różnica 3,50 punktu procentowego i przyrost względny 28 %. Obie liczby są poprawne, odpowiadają na co innego i nigdy nie powinny dzielić jednej etykiety. Pisz "punkty procentowe" za każdym razem, gdy liczba jest różnicą dwóch udziałów, a ten sam raport da się czytać także za rok.
Jak małą różnicę da się realnie wykryć?
Z grubsza każdą powyżej podwojonego błędu standardowego różnicy, który wzór z tej strony liczy z twoich dwóch odsetków i dwóch wielkości grup. Poniżej tej granicy liczba nie jest małym efektem, tylko efektem niezmierzonym. To wypowiedziana wprost reguła kciuka, a nie formalny test statystyczny, i służy tu do powstrzymania jednej konkretnej decyzji: wypuszczenia kampanii na całą bazę na podstawie różnicy, której nikt nie umiał odczytać.
Co robić, kiedy nikogo nie da się pominąć?
Przeplataj kampanię tydzień po tygodniu, albo puść ją w jednym lokalu sieci, a w drugim nie, i potem zamień, albo porównaj wynik ze spisaną prognozą, która niesie już czynniki kalendarza, pogody i wydarzeń. Wszystkie trzy są słabsze od grupy kontrolnej, wszystkie trzy są znacznie lepsze od wykresu "przed i po", a raport powinien mówić, którego użyto.
Pierwszą grupę kontrolną możesz wydzielić dzisiaj i nic to nie kosztuje: pomiń w najbliższej wysyłce co dziesiątego gościa i ustal okno obserwacji, zanim wysyłka wyjdzie. Jedną kampanię później na stole pojawi się liczba, która przetrwa spór — a reszta arytmetyki, która zamienia ją w pieniądze, mieszka w dziale restauracyjnym.