Studie Many Labs Replication Project publikována v Social Psychology

O hlavních výsledcích studie Many Labs, jež proběhla na podzim 2013 a v rámci níž více než 30 samostatných týmů z celého světa zkoumalo 13 psychologických efektů, jsme informovali již koncem minulého roku a o zajímavém specifiku českých účastníků jsme psali nedávno na stránkách PLESS.
Teď již v časopise Social Psychology vyšel i samotný článek, jenž si můžete zdarma stáhnout. Stejně tak si můžete zdarma přečíst i celé speciální číslo časopisu věnované replikačním studiím.

Vydání speciálního čísla vyvolalo bouřlivé reakce, jelikož někteří autoři studií, jejichž replikace nebyly úspěšné, se cítí šikanování a podezíráni z podvádění. Takovéto názory ale svědčí spíše o nepochopení skutečného přínosu replikačních studií. Replikace, pokud pracuje s větším nebo různorodějším vzorkem respondentů než původní studie, přináší přesnější odhad velikosti zkoumaného efektu a jeho zobecnitelnosti. “Velikost efektu” lze ve výzkumech často vyjádřit jako standardizovaný rozdíl průměrů sledované proměnné u experimentální a kontrolní skupiny. Právě malé výzkumné vzorky (s 20-30 účastníky v jedné skupině) jsou v současnosti jedním z nejvýznamnějších problémů v psychologii. Protože i když u tak malých skupin nějaký efekt zjistíme, jde pouze o nepřesný odhad a skutečná velikost efektu se může pohybovat od velmi malé po velmi velkou – to je vidět například na obrázku níže:

Čtverec označuje zjištěnou velikost efektu v jednotlivých výzkumech a úsečka označuje jeho 95% interval spolehlivosti: to znamená rozsah, v jakém se dá očekávat, že se nachází opravdová hodnota efektu. Pro původní studii Schnall et al. (2008) s malým vzorkem sahá úsečka od -1,3 po 0,03. První replikace s o něco větším vzorkem má už interval spolehlivosti užší a nakonec současná replikace publikovaná v Social Psychology s 5x větším vzorkem, než měla původní studie, má již podstatně užší rozsah, v němž lze očekávat skutečnou hodnotu efektu. Závěrem tedy je, že skutečný efekt je buď podstatně menší, než naznačovala původní studie, nebo je ovlivňován neznámými faktory, jež způsobují, že se jeho velikost u původního a nového vzorku liší. (Intervaly spolehlivosti všech studií se navíc překrývají a lze tedy říct, že jejich výsledky de facto vůbec nejsou v rozporu.)
V žádném případě tak nejde o obviňování původních autorů z podvodu, zkreslování výsledků nebo neschopnosti a je nešťastné, že někteří lidé to přesně tímto způsobem vnímají.

Výsledky z Many Labs naštěstí žádnou vlnu odporu nevyvolaly – možná i proto, že většinu zkoumaných studií se povedlo replikovat. Díky vysokému počtu účastníků (více než 6000) mají všechny efekty extrémně úzké intervaly spolehlivosti – každé velké kolečko na grafu níže představuje celý 99% interval pro zkoumaný efekt, jehož velikost tedy dnes známe velice přesně.

Malé kolečka označují velikosti efektu zjištěné u jednotlivých souborů účastníků – šedé jsou z USA, zelené ze zbytku světa. Ve studii Many Labs bylo taktéž možné prozkoumat, jestli se velikost efektu liší dle státu, z něhož účastníci pochází, nebo dle toho, zda se studie lidé účastní v laboratoři či on-line. Výsledkem je, že u drtivé většiny efektů nehrají tyto faktory roli.
Výjimkou byla studie zkoumající, jak lidé souhlasí se stejným výrokem, jenž byl připsán G. Washingtonu u jedné a bin Ládinovi u druhé skupiny (rozdíl mezi skupinami byl u účastníků v USA větší). Různě dopadly i studie s efektem ukotvení, v nichž měli účastníci odhadovat např. počet obyvatel Chicaga nebo výšku Mount Everestu – znalost skutečných hodnot se v USA a ve zbytku světa liší, což ovlivňuje míru, v níž se ukotvení projeví. Velikosti těchto stejných efektů se lišily i v závislosti na tom, zda byla studie provedena v laboratoři nebo on-line – což může být způsobeno tím, že lidé účastnící se přes internet si mohou správné odpovědi dohledat.
Jedinou další studií, v níž se výsledky z laboratoře a internetu lišily byl “představovaný kontakt” – zde měli účastníci za úkol představit si interakci s muslimem v jedné a neutrální procházku ve druhé skupině. Neočekávaně byl rozdíl v následném hodnocení postojů k muslimům větší u on-line účastníků, celkově byl ale zjištěn mnohem menší efekt než v originální studii, dle které se měly postoje lidí představujících si interakci s muslimem výrazně zlepšit.

Pokud vás zajímají výsledky detailněji, stáhněte si kompletní článek, pokud máte zájem prozkoumat nějaké vlastní hypotézy, můžete si stáhnout i volně dostupná data a vrhnout se na analýzy!
Pokud si chcete o významu čísla Social Psychology věnovanému replikacím v kontextu současných trendů v psychologickém výzkumu přečíst více, můžete tak učinit na blogu Chrisa Chamberse.

Všem účastníkům Many Labs v PLESS jestě jednou děkujeme a těšíme se na další, alespoň stejně světové výzkumy pořádané v naší laboratoři.