Zadeva proti znanosti je preprosta: večina znanstvene literature, morda polovica, je najverjetneje preprosto neresnična. Naravnana in zmaličena od študij z majhnimi velikostmi vzorcev, drobnimi učinki, neveljavnimi raziskovalnimi analizami in očitnimi navzkrižji interesov ter obsedenostjo po sledenju modnih trendov dvomljivega pomena.
Kot je dejal en udeleženec, "slabe metode dajejo rezultate".
Akademija medicinskih znanosti, Svet za medicinske raziskave in Raziskovalni svet za biotehnologijo in biološke vede so zdaj izpostavili svoj ugled za preiskavo teh vprašljivih raziskovalnih praks.
Očitna endemičnost slabega raziskovalnega vedenja je zaskrbljujoča.
V svojem prizadevanju za pripovedovanje prepričljive zgodbe znanstveniki prepogosto oblikujejo podatke, da bi ustrezali njihovi želeni teoriji sveta. Ali pa spremenijo hipoteze, da ustrezajo njihovim podatkom. Tudi uredniki revij si zaslužijo svoj pošten delež kritik. Pomagamo in podpiramo najslabša vedenja. Naše pristajanje na faktor vpliva spodbuja nezdravo konkurenco za pridobitev mesta v nekaj izbranih revijah.
Naša ljubezen do »pomena« literaturo onesnaži s številnimi statističnimi pravljicami.
Zavračamo pomembne potrditve.
Časopisi niso edini nepridipravi.
Univerze so v nenehnem boju za denar in talente, končni cilj, ki spodbuja reduktivne meritve, kot so objave z velikim vplivom.
Nacionalni postopki ocenjevanja, kot je okvir raziskovalne odličnosti, spodbujajo slabe prakse. In posamezni znanstveniki, vključno z njihovimi najvišjimi vodji, malo spremenijo raziskovalno kulturo, ki se občasno približa napačnemu vedenju.
Ali je mogoče popraviti slabe znanstvene prakse?
Del problema je v tem, da nikogar ne spodbujajo, da bi imel prav. Namesto tega so znanstveniki spodbujeni, da so produktivni in inovativni.
Ali bi Hipokratova prisega za znanost pomagala?
Vsekakor ne dodajajte več plasti raziskovalne birokracije.
Namesto da bi spremenili spodbude, bi morda lahko spodbude v celoti odstranili. Ali pa vztrajajte pri izjavah o ponovljivosti v vlogah za donacije in raziskovalnih prispevkih. Ali pa poudarite sodelovanje, ne konkurenco. Ali pa vztrajajte pri predregistraciji protokolov. Ali pa nagradite boljši strokovni pregled pred in po objavi. Ali izboljšajte raziskovalno usposabljanje in mentorstvo. Ali pa izvajajte lani objavljena priporočila iz naše serije o povečanju raziskovalne vrednosti.
Eden najbolj prepričljivih predlogov je prišel izven biomedicinske skupnosti.
Tony Weidberg je profesor fizike delcev na Oxfordu. Po več odmevnih napakah skupnost fizike delcev zdaj vlaga veliko truda v intenzivno preverjanje in ponovno preverjanje podatkov pred objavo. S filtriranjem rezultatov prek neodvisnih delovnih skupin se fizike spodbuja h kritiziranju.
Dobra kritika je nagrajena.
Cilj je zanesljiv rezultat, spodbude za znanstvenike pa so usklajene s tem ciljem.
Weidberga je skrbelo, da smo merilo za rezultate v biomedicini postavili prenizko.
V fiziki delcev je pomembnost določena na 5 sigma – vrednost p 3 × 10–7 ali 1 na 3,5 milijona (če rezultat ni resničen, je to verjetnost, da bi bili podatki tako ekstremni, kot so) .
Zaključek simpozija je bil, da je treba nekaj narediti.
Dejansko se je zdelo, da so se vsi strinjali, da je v naši moči, da to nekaj storimo. Toda glede tega, kaj točno in kako narediti, ni bilo trdnih odgovorov.
Zdi se, da tisti, ki imajo moč za ukrepanje, mislijo, da bi moral nekdo drug ukrepati prvi.
Vsako pozitivno dejanje (npr. financiranje dobro poganjanih replikacij) ima protiargument (znanost bo postala manj ustvarjalna).
Dobra novica je, da znanost nekatere svoje najhujše pomanjkljivosti začenja jemati zelo resno.
Slaba novica je, da nihče ni pripravljen narediti prvega koraka za čiščenje sistema.
Richard Horton, 2015
Apr 24, 2022