Reportáž z Marketing Monday: Méně hádejte, více testujte

Spoléhat se na domněnky je obzvláště v online prostředí nešťastné. Právě z „digitálního světa“ byla také většina řečníků pravidelného setkání Marketing Monday pořádaného Tuesday Business Network, tentokrát s názvem Méně hádejte, více testujte.

Kvalitativním testováním proti chybám

Ředitel společnosti Dobrý web, Luboš Plotěný, mluvil o tom, zdali jde získat čísla z kvalitativních výzkumů. Jde to, ale nikdy nemají takovou váhu, aby se na jejich základě dala dělat neomylná rozhodnutí. K rozhodnutí optimálnímu prospívá, když jsou nositelé rozhodnutí u uživatelského testování. Nejeden manažer je frustrován z desítky stran dlouhých reportů analytických agentur, jedna – dvě hodiny přítomnosti u reálného testování může ve výsledku ušetřit čas a zároveň je to pro mnohé zážitek, který doslova otvírá oči.

 Luboš Plotěný

To potvrdil i Martin Kopta ze Seznam.cz. Testování v této společnosti totiž zásadně nenahrávají. Pozorovatelna – místnost, z které lze jeho průběh sledovat – je tak obvykle nacpaná k prasknutí lidmi, jež si dělají poctivě poznámky.

Luboš Plotěný nastínil, jak takové testování webových projektů nejčastěji vypadá. Klasicky sedí moderátor s testujícím uživatelem u počítače, zadává mu úkoly, sleduje jejich plnění a posléze pokládá doplňující otázky k odhalení uživatelského hodnocení.
To ve skutečnosti není vůbec jednoduché. Snaha nebýt příliš přísný a nejednoznačné odpovědi typu: „Celkem dobrý,“ jsou až příliš časté. I proto se používá hodnotící systém „emočních karet“, kdy je testujícímu dána k dispozici sada 118 karet, z nichž každá vyjadřuje nějakou emoci. Jeho úkolem je vybrat 5 karet, které nejlépe charakterizují web (uživatelskou přívětivost konkrétního úkolu atd.). Výhody jsou zřejmé. Každý testující uživatel se díky tomu vyjadřuje ve stejných termínech, a lze tak data z jednotlivých testování agregovat a výsledky pak jednoduše vyčíslit. Ačkoliv se zdá poměr počtu karet vůči počtu těch vybraných skutečně vysoký, shoda na hodnocení bývá překvapivě vysoká.
 

 Ukázky sdělení emočních karet

26 let starou klasikou pro hodnocení použitelnosti z pohledu uživatele je SUS, System Usability Scale, kladoucí 10 otázek s možností pětistupňové odpovědi. Právě pro jeho letitost se ale často používá jeho modernější obdoba SUPR-Q.

Otázky a škála hodnocení testu SUPR-Q

Jaký je ideální počet testerů? S větším počtem testujících stoupá počet odhalených chyb, přibližně při 6 uživatelích jich ale odhalíte většinu (99 %). Další už nacházejí stále to samé. Nevýhodou ale je, že z testování 6 lidí získáte podněty pro zlepšení, ne však dostatečně relevantní čísla hodnotící web na určité škále, která by uspokojila manažera bažícího po „neprůstřelných“ datech. Mezi typické metriky takového testování například patří:

• Kolik času trvalo, než splnil úkol
• Počet chyb Aneb kolikrát zvolil špatnou cestu při plnění úkolu
• Kolik stránek otevřel

Důležitý je způsob kladení otázek a zadání. Pro ilustraci byl uveden výzkum čtení poezie muži. Když se dotazovaly ženy, "četlo" ji dvakrát více mužů, než když otázky kladli muži. Znehodnotit jde ovšem i testování použitelnosti webu. Dobrý facilitátor nezadává úkoly tak, aby již popisovaly obsah samotné akce. Pokyny typu „najděte, spusťte, klikněte“ jsou tak nešťastné. Mnohem lepší je popsat problém a nechat uživatele, aby se ho snažil na testované stránce vyřešit.
Otázka na konci de facto každého testování použitelnosti by měla znít: „Doporučil(a) byste web svým známým?“ Pro vyloučení neupřímného optimismu je radno zeptat se, co přesně by stálo za doporučení.

Udělat si to sám, nebo najmout agenturu?

Je dobré najmout si na testování agenturu, nebo je výhodnější dělat si vše in-house? U Seznam.cz, který prezentoval Martin Kopta, věří v interní testování. S výše popsaným způsobem co největšího zapojení zúčastněných lidí alespoň sledováním jeho průběhu posouvají projekty efektivněji dál. Výhodou je tak úspora času i motivace týmu, stejně jako znalost produktu.

Výzkum je na druhou stranu náročnou disciplínou. Špatně položenou formou otázek můžete testujícího zmanipulovat a znehodnotit jeho odpovědi. Podobně nemusí být jednoduché získat ty správné respondenty. V jejich náboru i samotné facilitaci výzkumů mají povětšinou navrch profesionálové z agentur.

Levné testování do každé firmy

S heslem: „Jakékoliv testování je lepší než žádné testování,“ vystoupil Robert Němec z agentury RobertNemec.com. Kvalitativní testování dle něj ukazuje na možné problémy a generuje otázky. Oproti tomu kvantitativní testování předpoklady potvrzuje či vyvrací a ukazuje, zda problémy řešíme správně nebo ne. Proto se také pro rychlé zjištění toho co a jak změnit hodí levné uživatelské testování. Rozhodnutí mezi více variantami je lepší rozsoudit s pomocí kvantitativních metod, ať už A/B nebo MVT testováním.

Robert Němec

Levné uživatelské testování vyžaduje několik kroků. Nejdříve si zapište typické úkoly uživatele na daném webu (Např. „Najděte mi na e-shopu boty značky Reebok velikosti 43 za cenu, za kterou byste si je koupil.“).
Poté sežeňte účastníky výzkumu. Při rychlo testování to mohou být i lidé z firmy, kteří se na projektu nepodíleli. Vhodné „oběti“ jsou sekretářky, účetní, vrátní, občasně i klienti. „Lovit“ lze ale i mezi přáteli, příbuznými, babičkami.
V průběhu testování vše poctivě pozorujte a sepisujte si poznámky. Nemyslete si, že je „něco jasné“. Někteří lidé ani nemusí vědět, co znamená „slevový kód“, jiní neví, jak zaškrtávat položky.
Vypište si, co a jak změnit.

Jak udělat levné A/B testování

• Použijte bezplatný Google Website Optimizer
• Vytvořte varianty stránek, které testujete. A/B testování je o porovnání dvou verzí, proto se zaměřte na zásadní rozdíly nebo různé použití prvků, u kterého si nejste jistí.
• Zadejte konverzní stránku. Klasikou pro e-shopy je třeba poděkování při odeslání objednávky, ale může to být i některá jiná akce.
• Implementujte a ověřte javascriptový kód
• Spusťte test

Problém u A/B testování může být právě určení toho, co je ta správná konverze. Existují konverze symbolizující určité akce na webu, přičemž jejich zvýšení může vést k snížení finální konverze, kterou je povětšinou nákup / zisk. Robert Němec uváděl případ webu finanční instituce poskytující půjčky, kde zaměření na primární konverze vedlo k větší aktivitě na webu. Zároveň ale přilákalo spíše skupinu lidí, kterým by rozumná firma nepůjčila. Míra konverze tak není nějakou svatou mantrou.

Reklamní kampaně pokaždé testujte

Dle Roberta Němce by se měly společnosti pokaždé pokoušet testovat online reklamu. Ta stojí desítky tisíc až miliony korun. Není proto rozumné tyto peníze vynakládat neefektivně, když se můžeme za relativně levné peníze přesvědčit o jejich účinnosti. Testování v Google AdSense stojí obvykle jen v řádech tisíců (maximálně nižších desetitisíců) korun.
Toto testování může přinést nejvhodnější varianty z hlediska CTR, ale i obratu či marže. Především však může zjistit, zdali reklama vůbec funguje.

Zadání testovaných kampaní

V Google AdWords si vyberte cílení na menší oblast, která odpovídá vašemu typickému zákazníkovi.

Vyberte cílení na reklamní síť.

Frekvenci nastavte na 3 zhlédnutí za den.

Nastavte demografii podle serverů, kde reklamní kampaň poběží.

Nahrajte varianty reklamy a spusťte A/B testování

Vyhodnocení testovaných kampaní

Je vhodné porovnávat alespoň 1000 propojených akcí. Platí tedy, že pokud srovnáváte CTR, musí mít každá reklama alespoň 1000 zhlédnutí.
Srovnáváte-li míru konverze, musí mít každá reklama přinejmenším 1000 prokliků.
Pokud porovnáváte výši obratu, měla by reklamní kampaň přinést alespoň 1000 nákupů.
Po dosažení vytyčených hodnot spočítejte náklady a vyhodnoťte efektivitu reklam.

Testujte, ale věřte svým instinktům

Díky testování můžete ušetřit nemalé náklady. Je ale nutné zařídit, aby se jeho výsledky neodrazily jen v dlouhé a nečitelné zprávě, kterou nositelé rozhodnutí ignorují. Někdy je ale potřeba brát výsledky testování s jistým nadhledem. Typická je nutnost brát s jistou rezervou odmítání změn a zažitého prostředí. Částečně se tomu dá vyhnout zaváděním postupných změn, tak to zatím dělá velmi úspěšně třeba Facebook. Změnit jeden či jen několik prvků najednou pomůže lidem v jednodušším přivykání. V následné diskuzi popisoval v publiku přítomný generální ředitel Seznam.cz, Pavel Zima, přípravné fáze redesignu bulvárního portálu Super.cz. Jeho velice úspěšnou novou podobu založenou na velkých fotografiích a vizuální stimulaci na úkor jednoduchého vyhledávání lidé při pre-testech pomlouvali, nelíbila se jim. Při vyjadřování nespokojenosti, ale zároveň rozklikávali nové a nové články. Spuštění redesignu tak vyžadovalo i spolehnutí se na vlastní intuici. Podnikatelské rozhodnutí je obvykle spojené s rizikem a sebelepší testování ho neodkáže odstranit. Přesto může významně napomoci v navedení na tu správnou cestu.

Zdroje fotografií: Internet Info, prezentace Luboše Plotěného a Roberta Němce