Data, srovnání a příčiny
Zeptej se, vůči čemu číslo platí
„Chybovost klesla o polovinu“ zní výrazně, ale bez původních počtů ji těžko posoudíš. Ve vlastním modelovém příkladu bylo deset chyb ze sta výstupů a později pět ze sta. Relativní pokles počtu chyb je 50 %. Podíl se změnil z 10 % na 5 %, tedy o pět procentních bodů. Procenta a procentní body odpovídají různým otázkám; používej obojí s jasným základem.
Pokud se později hodnotilo jen dvacet snazších výstupů, prosté srovnání počtů už není fér. Zjisti jmenovatel, typ úkolů, časové období a pravidlo, podle kterého se chyba počítala. Metrika bez definice dovoluje zaměnit jiné výsledky za zlepšení téhož. Také průměr nemusí zachytit několik velmi pomalých či nepovedených případů; pro rozhodnutí může být důležitá jejich četnost.
Společný pohyb nemusí být příčina
Po zveřejnění nového článku rostla návštěvnost. Mohl ji podpořit článek, ale současně mohla začít reklamní kampaň nebo se změnit sezóna. Časová návaznost je užitečný podklad pro hypotézu, sama nevyřazuje konkurenční vysvětlení. Třetí proměnná může ovlivňovat oba sledované jevy.
Zkus si nakreslit tři šipky: článek → návštěvnost; kampaň → článek; kampaň → návštěvnost. Druhé dvě připomínají, že společný plán kampaně může vysvětlovat časovou souvislost. Neznamená to, že článek neměl účinek. Znamená to, že potřebujeme silnější způsob jeho oddělení.
Jak si připravit lepší srovnání
Před testem napiš otázku, hlavní metriku a pravidlo rozhodnutí. U neškodného testu dvou textových variant lze náhodným rozdělením za odpovídajících podmínek snížit systematické rozdíly mezi skupinami. Náhoda ale nezaručí dokonale stejné skupiny ani dostatečně přesný výsledek v malém vzorku. Nepřidávej do testu zásah, který by lidem působil újmu nebo porušoval jejich souhlas.
Průběžné vybírání právě hezkých metrik je jiný problém: když sleduješ mnoho výsledků, některý může vypadat dobře náhodou. Předem určené měření a popis všech relevantních výsledků omezují prostor pro zpětné přizpůsobení příběhu. Malý pilot označ jako pilot a zapiš jeho hranice.
Cvičení: audit jedné metriky
- Vytvoř dva fiktivní vzorky se stejným počtem případů a spočítej podíl chyb.
- Napiš relativní změnu i změnu v procentních bodech.
- Vymysli dvě vysvětlení změny kromě účinku nástroje.
- Navrhni další měření, které by mezi vysvětleními pomohlo rozhodnout.
Výsledek odevzdej jako krátkou tabulku s definicí metriky a jednou větou nejistoty. Procento bez kontextu nahraď formulací „v těchto případech a za těchto podmínek“.