Augustus 27th, 2013 in andere wetenschappen / sociale wetenschappen
(Phys.org) - Onderzoekers hebben ontdekt dat auteurs van 'soft science' research papers de neiging hebben om de resultaten vaker te overdrijven dan onderzoekers in andere vakgebieden. In hun paper gepubliceerd in Proceedings of the National Academy of Sciences, schrijven Daniele Fanelli en John Ioannidis dat de ergste overtreders zich in de Verenigde Staten bevinden.
In de wetenschappelijke gemeenschap is zacht onderzoek het resultaat van onderzoek dat wordt gedaan op moeilijk te meten gebieden - gedragswetenschap is de meest bekende. Wetenschap die wordt uitgevoerd op manieren waarop mensen (of dieren) reageren in experimenten, is vaak moeilijk te reproduceren of te beschrijven in meetbare termen. Om deze reden beweren de auteurs dat onderzoek op basis van gedragsmethoden (gedurende meerdere decennia) een groter risico op vertekening met zich meebrengt dan met andere wetenschappen. Dergelijke vooroordelen, zo stellen ze, hebben de neiging tot opgeblazen claims van succes.
Het probleem dat Fanelli en Ioannidis suggereren, is dat er in de zachte wetenschap meer "vrijheidsgraden" zijn. Onderzoekers hebben meer ruimte om experimenten te ontwikkelen die bevestigen wat zij al denken dat waar is. Succes in dergelijke wetenschappen wordt dus gedefinieerd als het voldoen aan de verwachtingen, in plaats van een duidelijk omschreven doel te bereiken of zelfs iets nieuws te ontdekken.
De onderzoekers kwamen tot deze conclusies door het lokaliseren en analyseren van 82 recente meta-analyses (documenten geproduceerd door onderzoekers die gepubliceerde onderzoekspapers bestuderen) in de genetica en in de psychiatrie die 1,174-onderzoeken behandelden. Met inbegrip van genetica liet het duo soft science-studies vergelijken met zowel harde wetenschappelijke studies als die een combinatie van beide waren.
Bij het analyseren van de gegevens ontdekten de onderzoekers dat onderzoekers in de soft sciences niet alleen hun bevindingen opblazen, maar vaker rapporteren dat de uitkomst van hun onderzoek overeenkwam met hun oorspronkelijke aannames. Ze vonden ook dat kranten die onderzoekers uit de VS op de lijst zetten, de ergste overtreders waren. In hun verdediging suggereren de onderzoekers dat de publiciteitssfeer in de VS bijdraagt aan het probleem, net als problemen bij het definiëren van succesparameters in de soft sciences. De auteurs merkten ook op dat onderzoeksinspanningen die zowel harde als zachte wetenschap omvatten minder waarschijnlijk waren dan puur zachte wetenschappelijke inspanningen om tot opgeblazen resultaten te leiden.
Meer informatie: Amerikaanse studies kunnen effectgroottes overschatten in zachtere onderzoeken, Gepubliceerd online voor afdrukken augustus 26, 2013, DOI: 10.1073 / pnas.1302997110
Abstract
Veel vooroordelen zijn van invloed op wetenschappelijk onderzoek, veroorzaken verspilling van middelen, vormen een bedreiging voor de menselijke gezondheid en belemmeren de wetenschappelijke vooruitgang. Er wordt verondersteld dat deze problemen worden verergerd door een gebrek aan consensus over theorieën en methoden, door selectieve publicatieprocessen en door carrièresystemen die te sterk gericht zijn op productiviteit, zoals die worden toegepast in de Verenigde Staten (VS). Hier hebben we 1,174 primaire uitkomsten geëxtraheerd die voorkomen in 82 meta-analyses gepubliceerd in gezondheidsgerelateerd biologisch en gedragsonderzoek, bemonsterd uit de Web of Science-categorieën Genetica & Erfelijkheid en Psychiatrie, en gemeten hoe individuele resultaten afweken van de algehele samenvattingseffectgrootte binnen hun respectieve meta -analyse. We ontdekten dat primaire studies waarvan de uitkomst gedragsparameters omvatte, over het algemeen vaker extreme effecten rapporteerden, en die met een corresponderende auteur die in de VS was gevestigd, meer kans hadden om af te wijken in de richting die werd voorspeld door hun experimentele hypothesen, vooral wanneer hun uitkomst geen rekening hield met aanvullende biologische parameters. Niet-gedragsstudies lieten een dergelijk 'VS-effect' niet zien en waren voornamelijk onderhevig aan steekproefvariantie en kleine studie-effecten, die sterker waren voor niet-Amerikaanse landen. Hoewel deze laatste bevinding kan worden geïnterpreteerd als een publicatiebias tegen niet-Amerikaanse auteurs, is het onwaarschijnlijk dat het Amerikaanse effect dat wordt waargenomen in gedragsonderzoek wordt gegenereerd door redactionele vooroordelen. Gedragsstudies hebben een lagere methodologische consensus en meer ruis, waardoor Amerikaanse onderzoekers mogelijk meer geneigd zijn om een onderliggende neiging te uiten om sterke en significante bevindingen te rapporteren.
© 2013 Phys.org
"Onderzoekers vinden dat onderzoekers soft-science resultaten overschatten - de VS is de ergste overtreder." 27 augustus 2013. http://phys.org/news/2013-08-overestimate-soft-science-resultsus-worst.html
;
