Chyby ve výzkumu a jak se jim vyhnout

Petra Průšová
Ivan Tomek
foto www.pmrusa.net

Ponechme v následujícím textu stranou úmyslnou dezinterpretaci a manipulaci s daty (například úpravu výsledků, aby návrh reklamy, který se mi líbí, vyhrál, nebo proto, aby některá strana získala více než 5 % v předvolebních odhadech a neztrácela voliče), proti čemuž není léku. Řekneme si, jak získat kvalitní, dobře využitelné informace a vyhnout se vážným chybám.

Chápe agentura brief stejně jako zadavatel? Řekli jsme si skutečné cíle výzkumu? Je jasná cílová skupina? Protože jestliže na prezentaci řekne generální ředitel "Ale tohle jsme přece vůbec nepotřebovali vědět!", tak pověstný Bych je už hodně daleko. Důležité tedy je netajit podstatné informace, říci, proč výzkum vlastně zadáváme, jaké marketingové úkoly má pomoci řešit. Věnovat této přípravě dost času a komunikovat s agenturou.

Často podvědomě chceme, aby výzkum dopadl určitým způsobem, aby nám dal za pravdu (a je jedno jestli kvůli udržení pozice nebo z nadšení pro věc). Pak je riziko, že budeme data vnímat selektivně, ta "pro mě kladná" silněji než opačná. To bývá vidět při focus groups, kdy klient již při zhlédnutí jedné skupiny "ví, jak to dopadlo".

Metr je vysoce validní nástroj na změření délky, ale na určení umělecké hodnoty je k ničemu.

Přesto stále některé agentury měří efekt reklamy pouze otázkou "Koupil byste si tento výrobek na základě této reklamy?" či otázkou na zapamatování reklamy. Obojí je špatně.

Schopnost nástroje za stejných podmínek poskytovat stejné výsledky, je další věc, která má vliv na výsledek. Sluneční hodiny mají reliabilitu nižší než mechanické hodiny, elektronické hodiny větší než mechanické. Závisí výsledek na vnějších podmínkách, jako je nálada respondenta, předchozí otázka v dotazníku, roční období, politická situace (jestliže panuje obecně "blbá nálada", i nákupní úmysly vycházejí menší)?

Popíšeme si 9 skupin chyb, které se promítají do výsledků výzkumu.

Vzniká tím, že obvykle nezkoumáme celý základní soubor (např. všechny potravinářské firmy), ale jen některé. Tak se stane, že naměřené hodnoty - třeba značku A zná 38 % firem - nejsou přesné, ale ve skutečnosti je to něco kolem 38 %. Interval spolehlivost nám tento fakt vyjádří tak, že s pravděpodobností 95 % je to něco mezi 36,2 % a 39,8 %. Čím větší soubor vybereme, tím užší je interval spolehlivosti. Ale pozor - od počtu několika set se už zmenšuje jen pomalu, kdežto náklady rostou rychle. Velikost souboru ovlivňují také potřeby analýzy, podstatné cílové skupiny nesmějí být příliš malé.

Co z toho vyplývá? Nešetřit za každou cenu, ale ani nezkoumat zbytečně velké soubory.

Špatná otázka patří k nevýběrovým chybám, které mají tu nepříjemnou vlastnost, že se s větším souborem nezmenšují. Jsou to nesrozumitelné, nebo ne všem stejně srozumitelné otázky. Jestliže respondent (nebo někteří, třeba méně vzdělaní) odpovídá na něco jiného, než chceme, je tu chyba a je naše.

Příklad: klient chtěl, aby otázka zněla: "Jaký je podle vás rozdíl mezi diagnostickou a preventivní mamografií?" A trvalo hodně dlouho, než se nechal přesvědčit, že by srozumitelnost byla nízká.

Obranou proti špatně postaveným otázkám je předvýzkum, ponechání části práce profesionálům, vyhledání normativních dat, která jsou k dispozici (benchmarky) a umět zasadit věci do kontextu.

Dvojí nahrání eliminuje překlepy, stejně jako přímý vstup dat (údaje místo na papír jdou rovnou do počítače). Hlavními problémy zůstává záznam a kódování otevřených otázek, kódové klíče. Tedy pečlivost práce tazatele a kodéra.

Cesta k eliminaci těchto chyb vede přes spolupráci agentury a klienta při vytváření kódového klíče a přes kontrolu části dotazníků (ale pozor, ne agenturou vybraných padesát, ale 101-150). Je také dobré se informovat na použité váhy.

Specifické chyby vznikají při převažování dat. To je normální procedura, jestliže třeba nemáme v souboru potřebných 50 % mužů, ale jen 40 %, budeme každou mužskou odpověď počítat s vahou 5/4 a ženskou s vahou 5/6. Tím si zajistíme správnou proporci. Ale to neznamená, že je možné stejně postupovat, když máme 1 % vysokoškolsky vzdělaných místo potřebných 15 %. Pak vážení vytváří artefakt.

Obrana ze strany zadavatelů výzkumu spočívá v informování se na použité váhy a požadavku, aby nevytvářely chyby.

Refusal rate, tedy kolik lidí odmítne odpovědět, dnes činí u výzkumů všech obyvatel v ČR 25 -40 % (Amsterdam až 85 %). Ale co když u vašeho výzkumu to bude 75 %? Nemusíte se to dozvědět, když se nezeptáte agentury, kolik jednotek bylo osloveno, aby se naplnilo vámi požadovaných 500 dotazníků. Pokud se to stane, máte problém s reprezentativitou - odpovídají velmi atypičtí lidé. Je to jako u dopisů čtenářů do novin - "normální" lidé je nepíší, takže když nasbíráte 1000 dopisů čtenářů za půl roku, abyste měli hodně informací k analýze, pořád tam normální lidé nejsou. Podobný problém vzniká, když chce klient zkoumat velmi specifickou skupinu (maďarsky mluvící uklízečky). Je proto dobré se vždy agentury na refusal rate zeptat.

Axiom 1: Ke každému dotazníku se dá přidat jedna dvě otázky a nic se nestane. Ale příliš dlouhý dotazník znamená větší odmítnutí, častější ukončení v průběhu nebo odpovědi "jen aby to už skončilo". Nezíská se nic. Kratší, zajímavě pojatý dotazník je lepší, protože respondenti odpovídají nikoli kvůli výzkumníkům, ale kvůli sobě, baví je to, chtějí si popovídat, posílit si důležitost apod. Oni musí chtít.

Jinými slovy: Ptát se jen na to, co opravdu potřebujeme, ne na to, co je "zajímavé", ověřit si délku dotazníku a jeho "únavnost".

Poměrně často na focus group můžeme potkat profesionální účastníky. To je dost velký problém, protože potřebujeme, aby diskutovali normální typičtí uživatelé a ne divadlo hrající lidé, kteří chodí pravidelně. Umí hezky mluvit, ale výsledky jsou pak absolutně zkreslené.

Dělají to někteří rekrutátoři, aby si usnadnili práci. SIMAR s problémem bojuje, zavedl povinné rekrutační dotazníky, identifikaci průkazem, společnou databázi účastníků skupin, ale některým výzkumným agenturám je to jedno.

Totéž se stává u studiových testů, pokud není dobrý systém kontrol. Tazatelé pak na ulici přesvědčují lidi, aby neříkali, že dělají ve výzkumu, upravují si jejich věk, naši kontroloři slyší věty jako "tak řekněte, že pijete také Gambrinus, to je přece jedno".

Jak se bránit? Požadovat informace o tom, jak provádějí kontroly identit, a to ideálně křížově s jinými agenturami, vyžadovat rekrutační dotazníky, podívat se, jak vypadá nábor na CLT. S tím, kdo kontroly pořádně nedělá, se dál nebavit, vyhazujeme peníze.

Tazatelé mají řadu příležitostí k chybování: nedodržují podmínky při výběru, mohou ovlivňovat průběh rozhovoru, v krajním případě celé dotazníky vyplní doma. Proti tomu existují kontroly, ale opět - jsou pracné, drahé, ne každý je dělá pečlivě. I zadavatelé by se měli svých agentur ptát, jak provádějí kontroly tazatelů, případně si nějaké další zajistit.

Chyby na straně respondentů vznikají autostylizací - všichni jsme zvyklí hrát role, něco říkat, něco ne, za něco se stydět, nepřiznat to ani sami sobě. To zčásti řeší speciální otázky (nepřímé, zastírací, projekční, baterie), na jejichž dodatečné využití je ale ve fázi interpretace výsledků již pozdě. Musíme na ně myslet včas a také znát cílové skupiny, a dávat si na to pozor. Nezkušenou agenturu poznáte hned podle toho, že se zeptá lidí, zda by si koupili ukázaný výrobek G a 75 % odpovědí "ano" interpretuje: "Tři čtvrtiny cílové skupiny si tento výrobek po uvedení na trh koupí". Tak jednoduché to není.

Naopak lhaní se není nutné tolik bát. Normální lidi nelžou, když nemají důvod, pokud se neptáme na věci intimní, politické, zpolitizované a podobně.

Text čerpá ze studijních materiálů připravovaného edukativního kurzu MRA, pořádaného ve spolupráci SIMAR, VŠE Praha a Mr.Think. www.market-research-academy.cz.

Petra Průšová pracuje jako ředitelka výzkumné agentury Millward Brown ČR.

Ivan Tomek vede vlastní poradenskou agenturu pro výzkum Mr.Think, ivan.tomek@mrthink.cz.

Příklad špatně formulované otázky

Zadavatel si měřil efekt reklamy dotazníčkem v obchodě:

"Reklamy jste zaregistroval

V rozhlase ano ne

Na plakátech ano ne

V regionálním tisku ano ne

V odborném tisku ano:_________________

(napište název titulu)

40 % respondentů zapsalo do teček ING.

Firmě sice bylo jasné, že se ptá na titul tisku, ani ve snu by ji nenapadlo, že to někdo může pochopit jinak. Ale lidé nemyslí stejně jako my při sestavování otázky.