Čeští studenti – nejsvědomitější účastníci výzkumů?

Na podzim 2013 se laboratoř PLESS zapojila do studie Many Labs Project, již se účastnilo více než 6300 osob z 12 zemí světa. Účelem studie bylo především ověřit, zda se vybrané psychologické jevy projeví stejným způsobem u různých skupin účastníků, nebo zda výsledky ovlivňuje země (např. efekt funguje pouze v USA) či způsob administrace (on-line vs. v laboratoři). Celkem jsme zkoumali přes 10 různých efektů, od zakotvení až po priming peněz (detailnější popis jednotlivých efektů naleznete zde).

Hlavním výsledkem je, že na místě a podmínkách realizace studie příliš nezáleží. Efekty se projevovaly podobně v USA i ve světě a v laboratoři i on-line. To je silný argument proti námitkám, jež se často objevují, když se v psychologii nějakou studii nepodaří úspěšně zopakovat: “ovšemže se replikace nezdařila, jejich vzorek / laboratoř / počasí se lišily od těch našich a to zamaskovalo přítomnost efektu!” V Many Labs jsme ukázali, že v psychologii existuje spousta různorodých efektů, jež se zdají být vůči takovým variacím odolné a že je tudíž nutné podobné námitky přesvědčivě podložit důkazy.

V tomto příspěvku se ale blíže podíváme na jiný zajímavý výsledek ze studie Many Labs – jak se liší svědomitost při dodržování instrukcí mezi účastníky od USA po Turecko?

V psychologickém výzkumu je často pozorné čtení instrukcí klíčové pro úspěšný průběh studie – právě v instrukcích totiž bývá obsažena experimentální manipulace. Každý účastník například vidí jednu z možných verzí zadání a následně se zjišťuje, zda tato odlišnost v zadaní vedla k odlišným odpovědím.

Jedna ze studií v Many Labs zkoumala tzv. utopené náklady a účastníci při ní viděli vždy jedno ze dvou možných zadání:
Představte si, že váš oblíbený fotbalový tým hraje důležitý zápas. Na zápas máte lístek, [verze pro jednu část účastníků:] za který jste slušně zaplatili. / [verze pro druhou část:] který jste dostali zdarma od kamaráda. V den zápasu je však mrazivá zima. Co uděláte?
1 – Určitě zůstanu doma
…
9 – Určitě půjdu na zápas

Ekonomická teorie říká, že při rozhodování zda jít nebo nejít na zápas by vás nemělo ovlivňovat, zda jste za lístek zaplatili nebo ne – tyto náklady jsou již utopené a pro vaše rozhodnutí je důležitý pouze užitek, jež vám návštěva zápasu či zůstání v teple domova přinesou. Jak se ale potvrdilo i v Many Labs, lidé utopené náklady při rozhodování v potaz berou – skupina, která si měla představit, že za lístek zaplatila, projevila větší ochotu na zápas jít než skupina, která lístek dostala darem.

Aby takovýto design experimentu fungoval, musí si samozřejmě účastník instrukce přečíst. V opačném případě totiž vůbec není experimentální manipulaci vystaven a měl by být tedy ze studie vyřazen. Pro identifikaci a následné vyřazení takovýchto účastníků se používají různé kontrolní dotazy (Oppenheimer, Meyvis, & Davidenko, 2009). Ty obvykle obsahující pokyn, aby člověk odpovídal určitým specifickým způsobem – například zvolil na deseti bodové škále odpověď 3 nebo místo kliknutí na tlačítko “Pokračovat” klikl myší na text otázky. Předpokládá se přitom, že bez pozorného čtení zadání je jen malá šance, že zkoumaná osoba náhodou odpoví správně, díky čemuž pak můžeme účastníky rozdělit na “svědomité” a “nepozorné”.

S potěšením můžeme oznámit, že studenti z laboratoře PLESS byli ze všech 36 testovaných skupin z celého světa v této kontrolní úloze nejlepší – jejich úspěšnost byla 98,8%. To znamená, že pouze jeden jediný z účastníků si zadání kontrolní úlohy pořádně nepřečetl a následně požadovaný úkol nesplnil. Pro srovnání s ostatními skupinami účastníků jsou jejich celkové úspěšnosti zobrazeny v grafu níže – ačkoliv průměr se pohybuje kolem 80%, najdou se i skupiny, kde téměř polovina testovaných osob nečetla instrukce pozorně.
V grafu jsou barevně modrou označeny skupiny, kterým byly úkoly zadávány přes internet, zelené skupiny byly zkoumány v laboratorních podmínkách.

Z pohledu na graf (a i intuitivně) se nabízí hypotéza, že účastníci v laboratoři čtou instrukce svědomitěji než internetoví účastníci. Nicméně pokud tuto hypotézu statisticky testujeme, žádný výrazný rozdíl mezi těmito dvěma způsoby administrace nenalezneme. Bližší zkoumání odhalí, že je to způsobeno vysokou “svědomitostí” účastníků ze skupiny Mechanical Turk (úspěšnost v kontrolní otázce 93,8%), jež tvořila téměř třetinu všech cca. 3400 internetových účastníků. Mechanical Turk je platforma provozovaná společností Amazon a umožňuje lidem plnit jednoduché pracovní úkoly za finanční odměnu. Peněžní odměna a na platformě běžně rozšířené pravidlo, že za nekvalitně odvedenou práci lidé nic nedostanou, by mohly vysvětlit jejich vyšší pečlivost. Alternativním vysvětlením ale je, že kvůli vysokému počtu psychologických studií realizovaných na této platformě a kvůli oblíbenosti tohoto typu kontrolního dotazu ho účastníci jednoduše znali a tudíž ho neměli potíž správně splnit. Toto vysvětlení se jeví jako vysoce pravděpodobné, protože když byli na konci studie účastníci tázáni, zda jednotlivé úkoly znají z dřívějška, u kontrolní otázky odpovědělo kladně 66% účastníků ze skupiny Mechanical Turk, ale jenom 24% účastníků ze skupiny Project Implicit (podobně velké skupiny internetových účastníků – dobrovolníků). Pokud skupinu Mechanical Turk z analýzy “svědomitosti” vyřadíme, účastníci v laboratoři vychází jako mírně svědomitější s úspěšností 79% oproti úspěšnosti 73% u on-line účastníků. Tento rozdíl je ale jenom malý, a když vezmeme v potaz podstatně vyšší náročnost sběru dat v laboratorních podmínkách, tak i z praktického hlediska zanedbatelný.

Celkově je to další z řady dobrých zpráv pro on-line výzkumy, které se zdají být vhodným nástrojem pro realizaci mnohých psychologických studií, protože umožňují získat rychle a levně velké a různorodé vzorky účastníků, aniž by jejich odpovědi byly méně spolehlivé než ty sesbírané v laboratoři. A rozhodně je to dobrá zpráva pro účastníky v PLESS, kteří si zaslouží obdiv a uznání i na celosvětové úrovni.

Zdroje:

Oppenheimer, D. M., Meyvis, T., & Davidenko, N. (2009). Instructional manipulation checks: Detecting satisficing to increase statistical power. Journal of Experimental Social Psychology, 45(4), 867-872.