Jak zajistit, aby výzkum změn chování byl nejen důvěryhodnější, ale také užitečnější? V rámci projektu BRAINSTORM podpořeného FSV UK pořádá Marek Vranka dvoudenní sérií uzavřených i veřejných workshopů, na které do Prahy přijedou výzkumníci působící na pomezí metavědy, otevřené vědy a behaviorálních intervencí.
Skupina propojuje odborníky s navzájem se doplňujícími zkušenostmi: rozsáhlé kolaborativní replikace a Registered Reports (Gilad Feldman), megastudie a zobecnitelnost behaviorálních štouchů neboli nudges (Barnabás Szaszi), bayesovksé metaanalýzy zohledňující publikační zkreslení (František Bartoš), terénní experimenty a experimenty ve virtuální realitě (Adéla Plechatá), výzkum rozhodování (Štěpán Bahník) a studium proenvironmentálních intervencí (Jan Urban).
První den se skupina zaměří na nepříjemnou otázku: mohou snahy o větší transparentnost a ověřitelnost výzkumu někdy vést ke studiím, které lze snadno zkontrolovat, ale mají menší ekologickou validitu a jsou méně užitečné v praxi? Cílem je vytvořit praktický soubor zásad pro provádění — a rozpoznávání — výzkumu intervencí, který je zároveň důvěryhodný i užitečný. Neméně důležitým cílem workshopu je položit základy dlouhodobé spolupráce v oblasti metascience a open science na FSV UK a propojit Prahu s aktivními výzkumnými skupinami v Amsterdamu, Budapešti, Kodani, Innsbrucku a dalších městech.
Dva veřejné workshopy — úterý 29. září, Voršilská 1, místnost 508
Otevřenou vědu a metascience chceme přiblížit také širší akademické veřejnosti. Druhý den proto dva z našich hostů povedou praktické workshopy určené studentům, doktorandům a kolegům ze všech společenskovědních oborů. Oba workshopy proběhnou v angličtině. V případě zájmu vyplňte formulář s nezávaznou registraci na: https://forms.gle/g9AiAdmdFMTU85Rc6. Přihlásit se můžete na jeden nebo na oba workshopy.
09:30–12:30 · Jak využít nástroje umělé inteligence, agenty, velké jazykové modely a automatizaci ke zlepšení postupů otevřené vědy
Gilad Feldman (Univerzita v Innsbrucku)
Komentovaná ukázka nástrojů pro metavědu využívajících umělou inteligenci — SciMeto, ESCIMate, metacheck, RegCheck a dalších — určených ke kontrole uváděných statistik a velikostí účinku, prověřování rukopisů z hlediska transparentnosti a porovnávání předregistrací s publikovanými články. Gilad také ukáže, jak vytvářet postupy využívající umělou inteligenci tak, aby byly reprodukovatelné a ověřitelné, a nefungovaly jako černá skříňka. Nejsou potřeba žádné zkušenosti s programováním ani umělou inteligencí a není nutné mít placené předplatné nástrojů AI.
13:30–15:30 · Metaanalýza s korekcí na publikační zkreslení v JASP
František Bartoš (Univerzita v Amsterdamu)
Praktický workshop o tom, jak publikační zkreslení ovlivňuje závěry metaanalýz a jak ho korigovat. Na konkrétních příkladech a cvičeních v JASP si účastníci vyzkoušejí různé metody korekce, naučí se interpretovat jejich výstupy, porovnávat závěry získané různými přístupy a výsledky správně reportovat. František také ukáže, jak pomocí těchto metod ověřit, nakolik jsou závěry metaanalýzy robustní. Díky grafickému rozhraní JASP není potřeba programovat. Základní povědomí o metaanalýze pomůže, předchozí zkušenosti s metaanalýzou ani s JASP ale nejsou nutné. Předem si prosím nainstalujte aktuální verzi JASP.
Zahraniční hosté
Gilad Feldman (Univerzita v Innsbrucku) působí jako odborný asistent; dříve pracoval na Hongkongské univerzitě. Zabývá se úsudkem, rozhodováním a metavědou a vede iniciativu CORE (Collaborative Open-science and meta REsearch), která zapojila stovky studentů a začínajících výzkumníků z celého světa do předregistrovaných replikací a studií ve formátu Registered Reports. V současnosti vyvíjí nástroje využívající umělou inteligenci ke kontrole a zkvalitňování výzkumu.
Barnabás Szaszi (Univerzita Loránda Eötvöse v Budapešti) působí jako odborný asistent a vede Behavioral Insights Unit v rámci ELTE Decision Lab. Vystudoval psychologii a ekonomii a zabývá se architekturou volby a behaviorálními intervencemi. Je mimo jiné autorem mapujícího přehledu zaměřeného na kvalitu designu studií behaviorálních pobídek a jejich statistickou sílu. Podílí se také na rozsáhlých kolaborativních projektech, jako jsou studie Multi100 s mnoha nezávislými analytiky a Global Happiness Megastudy.
František Bartoš (Amsterdamská univerzita) je doktorandem na katedře psychologických metod a spoluzakladatelem JASP Services. Vyvíjí metody robustní bayesovské metaanalýzy a korekce publikačního zkreslení, včetně balíčku RoBMA pro jazyk R, a podílí se na vývoji bezplatného statistického softwaru JASP.
Adéla Plechatá (Kodaňská univerzita) působí jako postdoktorandka v Copenhagen Center for Social Data Science (SODAS) a na katedře psychologie. Zabývá se proenvironmentálním a prosociálním chováním a pomocí imerzivní virtuální reality a randomizovaných kontrolovaných studií ověřuje klimatickou komunikaci založenou na osobní zkušenosti.
Workshop je podpořen projektem BRAINSTORM Fakulty sociálních věd Univerzity Karlovy.