Forskare tycker att forskare överskattar resultat från mjuk vetenskap: USA - den värsta gärningsmannen (2013)

Augusti 27th, 2013 i annan vetenskap / samhällsvetenskap

(Phys.org) -Forskare har funnit att författare till ”soft science” -forskningsdokument tenderar att överdriva resultaten oftare än forskare inom andra områden. I sin artikel publicerad i Proceedings of the National Academy of Sciences skriver Daniele Fanelli och John Ioannidis att de värsta förövarna är i USA.

I vetenskapssamhället har mjuk forskning kommit att innebära forskning som görs på områden som är svåra att mäta, och beteendevetenskap är den mest kända. Vetenskap som utförs på sätt som människor (eller djur) svarar på i experiment är ganska ofta svåra att reproducera eller beskriva i mätbara termer. Av denna anledning har författarna hävdat att forskning som grundar sig på beteendemetoder har ansetts (i flera decennier) ha högre risk för bias än med andra vetenskaper. Sådana förspänningar, de föreslår, tenderar att leda till uppblåsta påståenden om framgång.

Problemet som Fanelli och Ioannidis föreslår är att det inom mjuk vetenskap finns fler "frihetsgrader" -forskare har mer utrymme att konstruera experiment som kommer att bekräfta vad de redan tror är sanna. Således definieras framgång inom sådana vetenskaper som att uppfylla förväntningarna snarare än att nå ett klart definierat mål eller till och med att upptäcka något nytt.

Forskarna kom till dessa slutsatser genom att lokalisera och analysera 82 senaste meta-analyser (papper producerade av forskare som studerar publicerade forskningshandlingar) inom genetik och psykiatri som omfattade 1,174-studier. Inklusive genetik fick duoen att jämföra mjukvetenskapliga studier med hårda vetenskapliga studier samt de som var en kombination av de två.

Vid analys av data fann forskarna att forskare i mjukvarorna tenderade att inte bara blåsa upp sina fynd men att rapportera att resultaten av deras forskning matchade sina ursprungliga antaganden oftare. De fann också att papper som listade forskare från USA som ledare tenderade att vara de värsta brottslingarna. I sitt försvar föreslår forskarna att publicerings-eller-perish-atmosfären i USA bidrar till problemet, vilket gör det svårt att definiera parametrar för framgång i mjuka vetenskaper. Författarna noterade också att forskningsinsatser som omfattade både hård och mjuk vetenskap var mindre troliga än rena mjuka vetenskapliga insatser för att leda till uppblåsta resultat.

Mer information: USA-studier kan överskatta effektstorlekarna i mjukare forskning, Publicerad online före utskrift August 26, 2013, DOI: 10.1073 / pnas.1302997110

Abstrakt

Många fördomar påverkar vetenskaplig forskning, orsakar slöseri med resurser, utgör ett hot mot människors hälsa och hämmar vetenskapliga framsteg. Dessa problem antas att förvärras av brist på samförstånd om teorier och metoder, genom selektiva publiceringsprocesser och av karriärsystem som är alltför starkt inriktade på produktivitet, som de som antagits i USA (USA). Här extraherade vi 1,174 primära resultat som förekommer i 82 metaanalyser publicerade i hälsorelaterad biologisk och beteendeforskning urvalet av Web of Science-kategorierna Genetik & ärftlighet och psykiatri och mätt hur individuella resultat avviker från den totala sammanfattande effektstorleken inom deras respektive meta -analys. Vi fann att primära studier vars resultat inkluderade beteendeparametrar i allmänhet var mer benägna att rapportera extrema effekter, och de med en motsvarande författare baserad i USA var mer benägna att avvika i den riktning som förutses av deras experimentella hypoteser, särskilt när deras resultat inte inkluderade ytterligare biologiska parametrar. Icke-beteendestudier visade ingen sådan ”USA-effekt” och utsattes huvudsakligen för stickprovsvarians och små studier, vilket var starkare för länder utanför USA. Även om detta senare resultat kan tolkas som en publikationsbias mot icke-amerikanska författare, är det sannolikt att den amerikanska effekten som observerats i beteendeforskning inte kommer att genereras av redaktionella fördomar. Beteendestudier har lägre metodisk konsensus och högre buller, vilket gör att amerikanska forskare potentiellt är mer benägna att uttrycka en underliggande benägenhet att rapportera starka och signifikanta resultat.

© 2013 Phys.org

"Forskare tycker att forskare överskattar mjukvetenskapliga resultat - USA är den värsta gärningsmannen." 27 augusti 2013. http://phys.org/news/2013-08-overestimate-soft-science-resultsus-worst.html