Hur korrekt är den forskning som görs vid universitet och institut? Kan vi lita på att resultaten är betydelsefulla? Under ett antal år har replikationskrisen diskuterats i den internationella forskarvärlden. Det började med psykologin, men bl.a. Nature pekar på att krisen även gäller andra forskningsfält.
Krisen handlar om att forskare som försöker att återskapa en annan forskares resultat genom att göra om dennes experiment med samma metod inte lyckas få samma resultat som i den tidigare studien. Ofta rör det sig om mindre metodfel när experimentet skulle upprepas, men som ändå spelat roll (exempel "ni skakade blandningen istället för att röra den") men de höga siffrorna som anges i undersökningarna är oroväckande inte minst då många experiment ändå är så begränsade.
P-värden och statistisk signifikans spelar en viktig roll. Publiceringsbias handlar om att forskare föredrar positiva resultat, att studien visar att antagandet stämmer. Det kan locka forskare att bara publicera de studier som visar att deras antaganden stämmer. P-värdeshackare försöker att öka sannolikheten för att deras forskningsresultat ska vara positiva. Tyvärr kan testet för p-värdet användas tvärtemot sin avsikt. Forskaren söker då istället först ett statistiskt signifikant resultat, tänker sedan ut en förklaring till det resultatet och drar en trend genom en serie mätningar för att visa på en underliggande orsak. Det går att börja misstänka p-hackare när resultaten som ligger precis under p-värdet 0,05 är överrepresenterade.
Problemet med p-hackare brukar diskuteras när det gäller enskilda forskare eller forskningsgrupper, men vetenskapliga tidskrifter behöver också se över vad de publicerar. För även resultat som inte är signifikanta, de studier som visar att något antagande är fel eller inte tillräckligt rätt för att vara betydelsefullt, har en roll att spela i forskningen genom att visa vad som inte stämmer. Ett skäl till att replikationskrisen inte diskuteras mer är att ganska få forskare tar det som sin uppgift att kontrollera kollegornas resultat, bortom peer review- processen.
Det har lagts förslag om att sänka gränsen för p-värdet eller att tidskrifter borde kräva fler replikerade resultat men för att motverka än mer av publiceringsbias skulle det behövas registrering av studierna, en bättre acceptans av enskilda studiers värde för forskningen överlag och att den använda metoden framhålls mer jämfört med resultatens signifikans.
Läs även andra bloggares åsikter om forskning, vetenskap, statistik, tidskrifter, etik, samhälle, signifikans
Intressant
