Vedci zistili, že vedci nadhodnocujú výsledky soft science: USA - najhorší páchateľ (2013)

August 27th, 2013 v iných vedách / spoločenských vedách

(Phys.org) - Vedci zistili, že autori výskumných prác „soft science“ majú tendenciu nadhodnocovať výsledky častejšie ako vedci z iných oblastí. Daniele Fanelli a John Ioannidis vo svojom príspevku publikovanom v časopise Proceedings of the National Academy of Sciences (USA) píšu, že najhoršími páchateľmi sú Spojené štáty.

Vo vedeckej komunite, mäkký výskum znamená výskum, ktorý sa vykonáva v oblastiach, ktoré je ťažké merať - behaviorálna veda je najznámejšia. Veda vedená o spôsobe, akým ľudia (alebo zvieratá) reagujú v experimentoch, je pomerne často obtiažne reprodukovať alebo opisovať v merateľných termínoch. Z tohto dôvodu autori tvrdia, že výskum založený na behaviorálnych metodikách (niekoľko desaťročí) je považovaný za vyšší, pokiaľ ide o predsudky, ako u iných vied. Takéto predsudky majú tendenciu viesť k nadsadeným nárokom na úspech.

Problém, ktorý Fanelli a Ioannidis naznačujú, spočíva v tom, že v mäkkej vede existuje viac „stupňov slobody“ - výskumníci majú viac priestoru na uskutočňovanie experimentov, ktoré potvrdia to, o čom už veria, že sú pravdivé. Úspech v takýchto vedách sa teda definuje skôr ako splnenie očakávaní, než ako dosiahnutie jasne stanoveného cieľa alebo dokonca objavenie niečoho nového.

Výskumníci prišli k týmto záverom lokalizáciou a analýzou nedávnych metaanalýz 82 (práce vypracované výskumníkmi, ktorí študujú publikované výskumné práce) v oblasti genetiky a psychiatrie, ktorá sa zaoberala štúdiami 1,174. Vrátane genetiky umožnilo duu porovnávať štúdium mäkkej vedy s tvrdými vedeckými štúdiami, ako aj s tými, ktoré boli kombináciou týchto dvoch.

Pri analýze údajov vedci zistili, že výskumníci v mäkkých vedách mali tendenciu nielen rozširovať svoje zistenia, ale častejšie uvádzali, že výsledok ich výskumu zodpovedal ich pôvodným predpokladom. Tiež zistili, že najhoršími páchateľmi boli dokumenty, ktoré vedci z USA uviedli ako vedúci. Výskumníci vo svojej obrane tvrdia, že atmosféra publikovania alebo miznutia v USA prispieva k problému, rovnako ako ťažkosti pri definovaní parametrov úspechu v mäkkých vedách. Autori tiež poznamenali, že výskumné úsilie, ktoré zahŕňalo tvrdú aj mäkkú vedu, bolo menej pravdepodobné ako čisté úsilie v oblasti vedy, ktoré viedlo k nadsadeným výsledkom.

Ďalšie informácie: Štúdie v USA môžu nadhodnotiť veľkosť efektov v mäkšom výskume, Publikované online pred tlačou August 26, 2013, DOI: 10.1073 / pnas.1302997110

abstraktné

Mnoho predsudkov ovplyvňuje vedecký výskum, spôsobuje plytvanie zdrojmi, predstavuje hrozbu pre ľudské zdravie a brzdí vedecký pokrok. Predpokladá sa, že sa tieto problémy budú zhoršovať nedostatkom konsenzu o teóriách a metódach, výberovými procesmi publikovania a príliš silno orientovanými kariérnymi systémami na produktivitu, ako sú napríklad systémy prijaté v USA (USA). Tu sme extrahovali 1,174 82 primárnych výsledkov, ktoré sa objavili v XNUMX metaanalýzach publikovaných v biologickom a behaviorálnom výskume súvisiacom so zdravím, vzorkovaných z kategórií Web of Science v kategórii Genetika a dedičnosť a psychiatria, a zmerali sme, ako sa jednotlivé výsledky odchyľovali od veľkosti celkového súhrnného účinku v rámci ich príslušnej meta -analýza. Zistili sme, že primárne štúdie, ktorých výsledok zahŕňal parametre správania, všeobecne uvádzali pravdepodobnejšie extrémne účinky a štúdie so zodpovedajúcim autorom so sídlom v USA sa pravdepodobne odchýlili v smere predpovedanom ich experimentálnymi hypotézami, najmä ak ich výsledok nezahŕňal ďalšie biologické parametre. Štúdie bez správania nevykazovali taký „efekt USA“ a boli predmetom hlavne rozptylu vzoriek a efektov malých štúdií, ktoré boli silnejšie pre krajiny mimo USA. Aj keď by sa tento druhý nález dal interpretovať ako zaujatie publikacie voči autorom mimo USA, je nepravdepodobné, že by efekt USA pozorovaný pri výskume správania bol vyvolaný redakčnými zaujatosťami. Behaviorálne štúdie majú nižší metodický konsenzus a vyššiu hladinu hluku, čo zvyšuje pravdepodobnosť, že americkí vedci vyjadria základnú tendenciu hlásiť silné a významné zistenia.

© 2013 Phys.org

"Vedci považujú výskumníkov za nadhodnotené výsledky mäkkej vedy - USA sú najhorším páchateľom." 27. augusta 2013. http://phys.org/news/2013-08-overestimate-soft-science-resultsus-worst.html