A pszichológiai vizsgálatok az esetek több mint 50%-ában hamisnak bizonyultak

2024 Szerző: Seth Attwood | [email protected]. Utoljára módosítva: 2023-12-16 16:07

Vannak "erős testtartások", amelyek önbizalmat építenek és csökkentik a stresszhormonokat. Amikor az emberek egy csésze meleg italt tartanak a kezükben, barátságosabbá válnak a körülöttük lévőkkel. Az akaraterő olyan erőforrás, amelyet akkor költünk el, amikor ellenállunk a kísértésnek. A jutalom elhalasztásának képessége meghatározza a gyermek jövőbeli sikerét.

Ezek a kijelentések nagyon hasonlítanak egymásra: mögöttük ismert pszichológiai kutatások, népszerű tudományos bestsellerek, népszerű magazinok rovatai és TED-előadások állnak.

Még egy közös vonásuk van: mindegyikről kiderült, hogy tévedtek.

A reprodukálhatósági válság egész tudományterületet vont kétségbe. A médiában széles körben idézett eredmények közül sokat ma eltúlzottnak vagy hamisnak tekintenek. Amikor a tudósok megpróbálták megismételni a klasszikus és a közelmúltban végzett pszichológiai kísérleteket, az eredmények meglepően konzisztensek voltak: az esetek körülbelül fele sikeres volt, a másik fele pedig kudarcot vallott.

A válság végül 2015-ben vált nyilvánvalóvá, amikor a Brian Nosek vezette tudósok 100 pszichológiai tanulmányt ellenőriztek. Kezdeti eredményt csak 36 esetben tudtak elérni. A Lancet főszerkesztője, Richard Horton hamarosan kijelentette:

„A tudomány ellen felhozott vádak teljesen egyértelműek: a tudományos irodalom legalább fele egyszerűen téves. A kis mintaszámmal, csekély hatású és hibás elemzésekkel, valamint a kétes jelentőségű divatirányzatok iránti megszállottságtól szenvedő tudomány a tudatlanság felé fordult.

A reprodukálhatóság a tudományos ismeretek egyik legfontosabb követelménye. Minél jobban reprodukálható az eredmény, annál megbízhatóbb – csak így lehet elválasztani a valódi mintákat az egyszerű véletlenektől

De kiderült, hogy ez a követelmény nem mindig teljesül.

A válság az orvostudományban kezdődött, de leginkább a pszichológiát érintette. 2018 nyarán a tudósok megpróbálták megismételni a Science and Nature-ben, a világ legrangosabb tudományos folyóirataiban megjelent pszichológiai tanulmányok válogatását. A 21 kísérletből csak 13 igazolódott be – és még ezekben az esetekben is mintegy 50%-kal eltúlozták az eredeti eredményeket.

A reprodukálhatósági tesztet gyakran megbukják azok a tanulmányok, amelyeket széles körben reprodukáltak a médiában, és sikerült befolyásolniuk a köztudatot. Például azok a művek, amelyekben a keresőmotorok rontják a memóriát, a szépirodalom olvasása pedig fejleszti az együttérzés képességét. Ha az ismételt kísérletek kudarcot vallanak, ez nem jelenti azt, hogy az eredeti hipotézisek értéktelenek. De ezek bizonyításához most jobb kutatásra van szükség.

Hogyan jósoljuk meg a jövőt statisztikákkal

2011-ben a híres amerikai pszichológus, Daryl Boehm publikált egy cikket, amely bebizonyította a tisztánlátás lehetőségét. Ez a következtetés nem az ő heves képzeletének szüleménye, hanem több száz ember bevonásával végzett több évtizedes kutatáson alapult. Sokan azt gyanították, hogy Boehm úgy döntött, hogy olyasmit szervez, mint Sokal átverése, és szándékosan abszurd következtetéseket tartalmazó hamis cikkel leleplezi a pszichológiát. De minden módszertani mércével a cikk nagyon meggyőző volt.

Behm egyik kísérletében két paravánt helyeztek a résztvevők elé – ki kellett találniuk, melyik kép mögé rejtőzik. A kép közvetlenül a kiválasztás után véletlenszerűen lett generálva. Ha a résztvevők jó munkát végeztek, az azt jelzi, hogy valamilyen módon előre tudják látni a jövőt. A kísérlet kétféle képet használt: semleges és pornográf.

Boehm felvetette, hogy ha létezik a hatodik érzék, annak valószínűleg ősi evolúciós eredete van. Ha igen, akkor valószínűbb, hogy a legősibb szükségleteinkhez és késztetéseinkhez igazodik

A résztvevők az esetek 53%-ában pornográf képeket találtak ki – valamivel gyakrabban, mint kellene, ha csak véletlenül. A kísérletek nagy száma miatt Boehm azt állíthatja, hogy létezik előrelátás.

Később a szakértők felfedezték, hogy az eredmények elemzésekor nem teljesen helyes módszereket alkalmazott. Általános szabály, hogy egy kutatási eredmény akkor tekinthető megbízhatónak, ha annak valószínűsége, hogy véletlenül kapták, nem haladja meg az 5%-ot. De sokféleképpen lehet ezt az értéket a kívánt szintre csökkenteni: módosítani kell az elemzés kezdeti paramétereit, hozzáadni vagy eltávolítani a mintából a szükséges számú példát, az adatok összegyűjtése után sikeresebb hipotéziseket alkalmazni.

A probléma az, hogy nemcsak Boehm, hanem sok más tudós is alkalmazta ugyanezt a technikát. Egy 2011-es felmérés szerint a pszichológusok csaknem fele elismerte ezt

Amikor megjelent a tisztánlátó cikk, Joseph Simmons, Leaf Nelson és Uri Simonson társadalomtudósok rájöttek, hogy a tudomány a saját pusztulása felé tart. Számos számítógépes modellt építettek, és azt találták, hogy a meglehetősen szabványos statisztikai technikákkal többszörösére növelheti a hamis pozitív eredmények szintjét. Ez azt jelenti, hogy a formálisan tudományos módszerek könnyen vezethetnek teljesen abszurd következtetésekhez.

Ennek illusztrálására a tudósok egy kísérletet végeztek, amely megerősítette, hogy a „When I'm Sixtyfour” című dal hallgatása másfél évvel fiatalabbá teszi a hallgatót.

„Mindenki tudta, hogy helytelen az ilyen technikák alkalmazása, de úgy gondolták, hogy ez jelentőségében szabálysértés – például rossz helyen átkelni az úton. Kiderült, hogy inkább egy bankrablás volt” – zárta Simmons.

Hogyan lehet megkülönböztetni a rossz kutatást a jótól

Hamar kiderült, hogy a reprodukálhatósági kérdések nem korlátozódnak a pszichológiára. A rákkutatásban az esetek 10-25%-ában tudományos bizonyítékokat támasztanak alá. A közgazdaságtanban 18 laboratóriumi kísérletből 7 nem volt képes megismételni. A mesterséges intelligencia kutatása is a válság jeleit mutatja.

De a tudományba vetett hit elvesztése, úgy tűnik, még mindig nem éri meg. A tudósok már több olyan módszert is kitaláltak, amelyek nagymértékben javították az új kutatások megbízhatóságát és minőségét

Néhány évvel ezelőtt szinte senki sem publikálta az ismételt kísérletek eredményeit, még akkor sem, ha elvégezték azokat. Ezt nem fogadták el, nem hozott támogatást és nem járult hozzá a sikeres tudományos karrierhez. A Nature felmérése szerint a pszichológusok több mint 70%-a megpróbálta reprodukálni mások kutatásait, de nem sikerült, körülbelül a felük nem tudta megismételni a sajátját, és szinte senki sem törekedett arra, hogy ezeket az eredményeket nyilvánosságra hozza.

Amikor a reprodukálhatóság válsága felszínre került, sok minden megváltozott. Az ismételt kutatás fokozatosan általánossá vált; a kísérleti adatok egyre gyakrabban kerültek nyilvánosságra; folyóiratok már megkezdése előtt elkezdték közzétenni a negatív eredményeket és rögzíteni a kutatás átfogó tervét.

A kutatás kiterjedtebbé vált - a pszichológiában meglehetősen standardnak számító 30-40 fős minta ma már nagyon kevés embernek felel meg. Nagy nemzetközi szervezetek – például a Psychological Science Accelerator – ugyanazokat a hipotéziseket tesztelik a világ számos laboratóriumában.

Mielőtt megnézték volna a Nature and Science cikkeit, amelyekről az elején írtunk, a tudósokat megkérték, hogy tegyenek fogadásokat a nyereményjátékra. Meg kellett jósolniuk, hogy melyik kutatás megy át a teszten, és melyik kudarcot vall. Összességében az árfolyamok nagyon pontosak voltak. "Ez egyrészt azt jelenti, hogy a tudományos közösség meg tudja jósolni, mely munkákat lehet megismételni, másrészt azt, hogy a tanulmány megismétlésének lehetetlensége nem véletlen egybeesés" - mondják a kísérlet szervezői.

A tudósok általában jól tudják megkülönböztetni a megbízható és a megbízhatatlan kutatásokat – ez jó hír. Most a Center for Open Science szakértői a DARPA ügynökséggel közösen olyan algoritmust próbálnak létrehozni, amely emberi beavatkozás nélkül is végrehajtja ugyanazt a feladatot.

Túl sok cikk jelenik meg minden évben ahhoz, hogy manuálisan ellenőrizzük még egy töredéküket is. Ha a mesterséges intelligencia nekilát, minden sokkal könnyebb lesz.

Az AI már az első tesztek során az esetek 80% -ában sikeresen megbirkózott az előrejelzésekkel.

Mi teszi a kutatást leggyakrabban megbízhatatlanná? Kis minták, következetlenségek a számokban, túl szép hipotézisigazolások. És még - az érzések iránti vágy és a túl egyszerű válaszok nehéz kérdésekre.

Túl szép, hogy igaz legyen

A szenzációs kutatások legegyszerűbb módja a megtévesztés. Diederik Stapel híres szociálpszichológus több tucat tudományos cikkben használt koholt adatokat. Stapel kutatásai nagy sebességgel terjedtek az újságokban és folyóiratokban, számos rangos tudományos díjat kapott, a Science-ben publikált, és a szakterülete egyik legnagyobb szakemberének számított.

Egyszer kiderült, hogy Stapel sokáig egyáltalán nem végzett kutatást, hanem egyszerűen kitalálta az adatokat, és átadta a diákoknak elemzésre.

Ez nagyon ritka a tudományban. Sokkal gyakrabban hangos, de helytelen kijelentések születnek más okokból. Az emberek kétségbeesetten keresik az egyszerű, érthető és hatékony válaszokat izgalmas kérdésekre. Nagyon könnyű lehet a kísértés azt gondolni, hogy megvannak ezek a válaszok, még akkor is, ha valójában nem. Az egyszerűségre és bizonyosságra való törekvés az egyik fő oka annak, hogy sok tanulmány nem vizsgálja a reprodukálhatóságot. Íme néhány figyelemre méltó példa.

Marshmallow kísérlet

Egy kísérlet során arra kérték a gyerekeket, hogy válasszanak egy kis jutalmat – például mályvacukrot –, amelyet azonnal megkaphatnak, és egy dupla jutalom között, ha várhatnak egy kicsit. Később kiderült, hogy a második díjat kapott gyerekek felnőtt korukban sikeresebbek lettek. A tanulmány nagyon népszerűvé vált, és hatással volt néhány iskolai tananyagra.

2018-ban a kísérletet megismételték szélesebb mintán. Kiderült, hogy a családban a gazdagság sokkal fontosabb tényező, amelytől függ az önuralom szintje is.

"Az erő pózai" és a "gyengeség pózai"

A kísérletben résztvevők két póz egyikét vették fel két percig: hátradőltek a székben, és lábukat az asztalra dobták ("erő póz"), vagy keresztbe tették a karjukat a mellkasukon ("gyengeség póz"). Ennek eredményeként az első csoport résztvevői magabiztosabbnak érezték magukat, és gyakrabban vállalták a kockázatot a szerencsejátékban. Azok, akik erős testhelyzetben ültek, növelték a tesztoszteronszintjüket, a gyenge pozícióban ülők pedig a kortizolszintet. Az ismételt kísérletekben csak egy hatást sikerült reprodukálni: az „erős testtartások” segítségével a résztvevők magabiztosabbnak érezték magukat, de nem változtattak viselkedésükön vagy hormonális paramétereiken.

Az időskorral kapcsolatos asszociációk lassítják a mozgást

A kísérletben résztvevőket több rejtvény megfejtésére kérték fel. Ha olyan szavakat illesztettek beléjük, amelyek az öregséggel kapcsolatosak - "feledékeny", "idős", "magányos" -, akkor a résztvevők lassabban hagyták el a termet.

A közelmúltban végzett kísérletek során a kísérletet csak egy esetben reprodukálták sikeresen: ha maguk a kísérletezők tudták, hogy a tesztekben a résztvevők az öregségre utalnak. Maga a hatás megmaradt, de az okok már mások voltak.

A meleg tárgyak barátságosabbá teszik az embereket

A kísérletben résztvevők rövid ideig tarthattak egy csésze forró vagy hideg kávét, majd megkérték, hogy egy rövid leírás segítségével értékeljék a személy személyiségét. A résztvevők, akik egy csésze forró kávét tartottak, szimpatikusabbnak ítélték meg a személyt. Egy másik kísérletben a résztvevők egy tárgyat kaptak meleg vagy hideg csomagolásban, majd megkérték, hogy tartsák meg, vagy adják oda egy barátnak. Ha a tárgyat meleg csomagba csomagolták, a résztvevők nagyobb valószínűséggel választották a második lehetőséget. A szélesebb mintán végzett ismételt kísérletek nem hoztak ilyen eredményeket. Úgy tűnik, a meleg ruhák nem tesznek altruistává.

Az akaraterő kimerül, ha ellenállunk a kísértéseknek

A kísérletben résztvevők előtt két tányért helyeztek el - sütikkel és retekkel. Az első csoportban sütiket, a másodikban pedig csak retket ehettek a résztvevők. Ezután minden résztvevőnek meg kellett oldania egy lehetetlen rejtvényt. Azok a résztvevők, akik a kísérlet első részében csak retket ettek, sokkal korábban adták fel, mint mások. Az ismételt kísérletek során az eredményeket nem erősítették meg.

Egyes esetekben az önuralom képessége nem fogyott ki, hanem idővel még erősödött is. Sok pszichológus ma már túlságosan leegyszerűsítőnek tartja az "akaraterő" fogalmát.

A világpszichológiában már sokat tettek a kutatás megbízhatóbbá és reprodukálhatóbbá tétele érdekében. Oroszországban ezt a problémát még meg kell ragadni.

"Az orosz pszichológiában a válság problémái főként a tudományos fiatalokat érintik, akik nagyrészt a nyugati tudomány felé orientálódnak" - mondta Ivan Ivanchey, a RANEPA docense a Knife-nek. - Az orosz nyelvű kiadványok minőségének ellenőrzése általában nem túl magas. A folyóiratok ritkán utasítanak el cikkeket, ezért sok alacsony színvonalú kutatás jelenik meg. Gyakran használnak kis mintákat, ami szintén csökkenti a sikeres szaporodás valószínűségét. Fennáll a gyanú, hogy ha valaki komolyan foglalkozik az orosz nyelvű művek reprodukálhatóságának kérdésével, sok probléma fedezhető fel. De ebben senki sem vesz részt közvetlenül."

2019 januárjában vált ismertté, hogy az orosz kormány jelentősen bővíti a tudósokkal szemben támasztott követelményeket a publikációk számát illetően: az évente megjelenő cikkek minimális számának 30-50%-kal kell növekednie.

A befolyásos akadémikus "Július 1. Klub" tudósai bírálták a kezdeményezést: "A tudomány feladata nem a maximális számú publikáció elkészítése, hanem az univerzum feltárása és a megszerzett tudás hasznosítása az emberiség számára." Valószínűleg az új követelmények csak növelik a probléma mértékét.

A reprodukálhatóság válságáról szóló történet nem a közelgő apokalipszisről és a barbárok inváziójáról szól. Ha a válság nem következett volna be, minden sokkal rosszabb lett volna: továbbra is hibás kutatásokra hivatkoznánk, teljes bizalommal, hogy tudjuk az igazságot. Talán a "brit tudósok bebizonyították" című merész címszavak ideje a végéhez közeledik. De azt a pletykát, hogy a tudomány halott, kissé eltúlzottnak kell tekinteni.