A tudományos kísérletek körülbelül 50%-a NEM reprodukálhatónak bizonyult

2024 Szerző: Seth Attwood | [email protected]. Utoljára módosítva: 2023-12-16 16:07

Véletlenül egy hír- és információfolyamban akadtam rá a Nature Scientific Reports egy cikkére. A tudományos kutatási eredmények reprodukálhatóságával kapcsolatban 1500 tudós megkérdezésével készült felmérés adatait mutatja be. Ha korábban ez a probléma a biológiai és orvosi kutatások számára vetődött fel, ahol egyrészt magyarázható (hamis összefüggések, a vizsgált rendszerek általános összetettsége, esetenként akár tudományos szoftverek is megvádolják), másrészt fenomenológiai hatása van. karakter (például az egerek általában eltérően viselkednek a különböző nemű tudósokkal (1 és 2)).

Azonban nem minden zökkenőmentes és többtermészettudományok, például fizika és mérnöki tudományok, kémia, ökológia. Úgy tűnik, hogy ezek a tudományágak "abszolút" reprodukálható kísérleteken alapulnak, amelyeket a legellenőrzöttebb körülmények között végeztek, sajnos a felmérés elképesztő - a szó minden értelmében - eredménye: akár 70%kutatók szembesültek Nem reprodukálhatókísérletek és eredmények, amelyeket nemcsak más tudóscsoportok értek el, DE valamint a publikált tudományos munkák szerzői / társszerzői!

Minden homokcsőr dicséri a mocsárját?

A válaszadók 52%-a ugyan a tudomány reprodukálhatóságának válságára hívja fel a figyelmet, de kevesebb mint 31%-uk tartja alapvetően hibásnak a publikált adatokat, és a többség jelezte, hogy továbbra is bízik a publikált munkákban.

Persze nem szabad csak e felmérés alapján levágni és meglincselni az egész tudományt, mint olyant: a válaszadók fele még mindig olyan tudós volt, aki így vagy úgy a biológiai tudományágakhoz kötődik. Ahogy a szerzők megjegyzik, a fizikában és a kémiában a reprodukálhatóság és a kapott eredmények megbízhatósága sokkal magasabb (lásd az alábbi grafikont), de még mindig nem 100%. De az orvostudományban a többihez képest nagyon rosszak a dolgok.

Egy vicc jut eszembe:

Marcus Munafo, az angliai Bristoli Egyetem biológiai pszichológusa régóta érdeklődik a tudományos adatok reprodukálhatósága iránt. Diákkorának napjaira felidézve ezt mondja:

Egyszer megpróbáltam reprodukálni egy számomra egyszerűnek tűnő kísérletet az irodalomból, de egyszerűen nem tudtam megtenni. Volt egy bizalmi válságom, de aztán rájöttem, hogy az élményem nem is olyan ritka.

Szélesség és hosszúság mélységi probléma

Képzeld el, hogy tudós vagy. Érdekes cikkre bukkan, de az eredmények/kísérletek nem reprodukálhatók a laboratóriumban. Logikus, hogy erről írunk az eredeti cikk szerzőinek, tanácsot kérünk, tisztázó kérdéseket teszünk fel. A felmérés szerint, kevesebb mint 20%valaha is megtették ezt tudományos pályafutásuk során!

A tanulmány készítői megjegyzik, hogy talán maguknak a tudósoknak is túlságosan nehézkesek az ilyen kapcsolatok, beszélgetések, mert bizonyos kérdésekben rávilágítanak hozzá nem értésükre, következetlenségükre, vagy túl sok részletet árulnak el a jelenlegi projektről.

Ráadásul a tudósok abszolút kisebbsége megkísérelte publikálni a megismételhetetlen eredmények cáfolatát, miközben szembekerült a szerkesztők és lektorok ellenkezésével, követeltelekicsinyelni az eredeti kutatással való összehasonlítást. Csoda-e, hogy a tudományos eredmények reprodukálhatatlanságának bejelentésének esélye körülbelül 50%.

Lehet, hogy akkor érdemes legalább egy reprodukálhatósági vizsgálatot elvégezni a laboratóriumon belül? A legszomorúbb, hogy a válaszadók harmada még SOHA és nem gondolt az adatok reprodukálhatóságának ellenőrzésére szolgáló módszerek létrehozására. csak 40%jelezték, hogy rendszeresen alkalmaznak ilyen technikákat.

Egy másik példa, egy brit biokémikus, aki nem akarta nyilvánosságra hozni a nevét, azt mondja, hogy a laboratóriumi projekt munkájának megismétlésére, reprodukálására tett kísérletek egyszerűen megduplázzák az idő- és anyagköltségeket anélkül, hogy bármi újat adnának vagy hozzáadnának a munkához. További ellenőrzéseket csak innovatív projektek és szokatlan eredmények esetén végeznek.

És persze az örök orosz kérdések, amelyek elkezdték kínozni a külföldi kollégákat: ki a hibás és mit kell tenni?

Ki a bűnös?

A munka szerzői az eredmények reprodukálhatóságának három fő problémáját azonosították:

• A felettesek nyomása, hogy a mű időben megjelenjen
• Szelektív jelentéskészítés (nyilván bizonyos adatok elhallgatását jelenti, amelyek "elrontják" a teljes képet)
• Nem megfelelő adatelemzés (beleértve a statisztikai adatokat is)

Mit kell tenni?

1500 megkérdezett közül több mint 1000 szakember nyilatkozott az adatgyűjtés és -feldolgozás statisztikáinak javítása, a főnökök felügyelete minőségének javítása és a kísérletek szigorúbb tervezése mellett.

Következtetés és néhány személyes tapasztalat

Először, még számomra, mint tudós számára is lenyűgözőek az eredmények, bár megszoktam az eredmények bizonyos fokú megismételhetetlenségét. Ez különösen nyilvánvaló a kínaiak és indiaiak által harmadik fél által végzett „audit” nélkül, amerikai/európai professzorok formájában. Jó, hogy felismerték a problémát, és átgondolták a megoldás(oka)t. Tapintatosan hallgatok az orosz tudományról, a közelmúlt botrányával kapcsolatban, bár sokan becsületesen végzik a dolgukat.

Másodszor, a cikk figyelmen kívül hagyja (vagy inkább nem veszi figyelembe) a tudományos metrikák és a lektorált tudományos folyóiratok szerepét a kutatási eredmények reprodukálhatatlanságának problémájának megjelenésében és fejlődésében. A publikációk gyorsaságára és gyakoriságára törekedve (olvasás, idézettségi indexek növekedése) a minőség meredeken csökken, és nincs idő az eredmények további ellenőrzésére.

Ahogy mondani szokás, minden szereplő kitalált, de valós eseményeken alapul. Valahogy egy-egy hallgatónak volt alkalma egy-egy cikk recenziójára, mert nem minden professzornak van ideje és energiája átgondoltan elolvasni a cikkeket, így összegyűjtik 2-3-4 hallgató és orvos véleményét, amiből kialakul a recenzió. Szemle készült, jelezte az eredmények megismételhetetlenségét a cikkben leírt módszer szerint. Ezt egyértelműen bebizonyították a professzornak. De annak érdekében, hogy ne rontsák el a kapcsolatokat a "kollégákkal" - elvégre nekik minden sikerül - a felülvizsgálatot "javították". És 2-3 ilyen cikk is megjelent.

Kiderül egy ördögi kör. A tudós elküldi a cikket a folyóirat szerkesztőjének, ahol jelzi „ kívánatos – És főleg nem kívánt »Recenzensek, vagyis tulajdonképpen csak azok maradnak, akik pozitívan viszonyulnak a szerzői csapathoz. Átnézik a művet, de nem tudnak „kommentekbe szarni”, és megpróbálják a két rossz közül a kisebbet választani – itt van a megválaszolandó kérdések listája, majd közzétesszük a cikket.

Egy másik példa, amelyről a Nature szerkesztője éppen egy hónapja beszélt, a Grazel napelemei. A téma iránti óriási érdeklődés miatt a tudományos közösségben (elvégre még mindig szeretnének egy cikket a Nature-ben!), a szerkesztőknek egy speciális kérdőívet kellett készíteniük, amelyben nagyon sok paramétert meg kell adniuk, berendezések kalibrációit, tanúsítványokat kell biztosítaniuk. stb. annak megerősítésére, hogy a hatékonysági panelek mérési módszere megfelel néhány általános elvnek és szabványnak.

ÉS, harmadik, amikor ismét hallasz egy csodaoltásról, ami mindent és mindenkit legyőz, egy új sztori Jobs szoknyásról, új akkumulátorokról vagy a GMO-k veszélyeiről/előnyeiről vagy az okostelefonok sugárzásáról, főleg ha az újságírásból származó sárga írók reklámozták, akkor kezelje megértéssel, és ne vonjon le elhamarkodott következtetéseket. Várja meg az eredmények megerősítését más tudóscsoportok részéről, a tömb és adatminták felhalmozódását.

PS:A cikket sebtében fordították le és írták meg, az összes észrevett hibáról és pontatlanságról kérjük, írjon a LAN-ba.