Obecně se předpokládá, že pro úspěšné provedení výzkumné studie je potřeba, aby respondenti pozorně četli instrukce. Právě ty totiž obsahují experimentální manipulace, které mají způsobit zkoumaný efekt – například ovlivnit volbu odpovědi. U účastníků, kteří instrukce pořádně nečtou, proto hrozí, že ve skutečnosti nejsou manipulacím vystaveni a ze studií by měli být vyřazeni. Je však tento předpoklad správný? Opravdu ledabylost při čtení instrukcí negativně ovlivňuje sledované efekty?
Tuto otázku si položili výzkumníci Richard Klein, Michelangelo Vianello, a Kate Ratliff.1 K podrobnějšímu prozkoumání vlivu nízké soustředěnosti na sledované efekty použili data z Many Labs Project, kterého se na podzim roku 2013 zúčastnila také laboratoř PLESS. Rick a jeho kolegové využili skutečnosti, že součástí Many Labs byla i úloha, jež měla zachytit nedbalé odpovídání účastníků. Šlo o tzv. Instructionatial manipulation chceck (IMC), kdy je v delším textu, jež uvádí jednoduchou otázku, obsažena instrukce, dle níž má účastník ve skutečnosti otázku níže ignorovat a udělat něco úplně jiné (např. kliknout na nadpis). Pokud čte účastník instrukce pozorně, tuto informaci si všimne a úlohu snadno správně splní. Pokud se ale čtením dlouhého odstavce textu nezdržuje a přejde přímo k odpovídání na otázku, prozradí tím svoji nepozornost. O tom, že účastníci v laboratoři PLESS byli ze všech zkoumaných skupin nejsvědomitější, si můžete přečíst v dřívějším příspěvku.
Ukázka IMC úlohy ve studii Many Labs
Účastníci, kteří se neřídili dle skryté instrukce v IMC, byli při zpracovávání výsledků studie Many Labs z analýz vyřazeni. Nebylo tedy známé jak, a jestli vůbec, tato skupina odpovídala jinak, než jejich „svědomitější“ kolegové. Rick proto jejich odpovědi zanalyzoval stejným způsobem, jaký byl použit v původní studii a výsledky „nesvědomitých“ účastníků srovnal s výsledky získanými od účastníků, již IMC úlohou prošli.
A jaký je závěr? V zásadě si účastníci, kteří v IMC neobstáli, vedli stejně jako ti, kteří IMC úlohu zvládli. Pouze ve dvou z dvanácti analyzovaných efektů byl nalezen signifikantní rozdíl mezi oběma skupinami, avšak v jednom případě (efekt zakotvení) byl efekt experimentální manipulace u méně svědomitých účastníků dokonce vyšší. Ukazuje se tedy, že vyřazení účastníků na základě IMC velikost sledovaných efektů neovlivnilo.
Překvapivý výsledke mohl být způsoben typem použité IMC úlohy, která detekuje pouze určitý druh nepozornosti – konkrétně nedbalé čtení dlouhých instrukcí. Většina instrukcí v Many Labs ovšem dlouhé texty neobsahovala, a je možné, že ti, kteří v IMC neobstáli, četli kratší instrukce poctivě. Otázkou je, zda by vhodnější volba IMC úlohy více se blížící k formě ostatních úloh ve studii přineslo jiná zjištění.
Srovnání velikosti efektů dle (ne)úspěšnosti zvládnutí IMC
Do budoucna by bylo jistě vhodné, kdyby ve studiích využívajících IMC, výzkumníci rovnou nevyřazovali ty, kteří v ní selžou, což může akorát snížit statistickou sílu. Místo toho by měli jejich odpovědi analyzovat a srovnat s ostatními. Pouze tak se dá ukázat, jestli IMC úloha opravdu identifikuje méně pozorné účastníky a jestli je její současné rozšířené využívání opodstatněné.
Literatura
- Klein, R. A., Vianello, M., & Ratliff, K. (2015, February 24). (poster) Attention Checking the “Many Labs” Participants: Did Participant Attention Moderate the Included Effects? Retrieved from osf.io/d2tek
autorka: Pavla Tefelnerová