Peneliti menemukan peneliti melebih-lebihkan hasil soft science: AS - pelaku terburuk (2013)

Agustus 27th, 2013 di Sains / Ilmu Sosial Lainnya

(Phys.org) -Peneliti telah menemukan bahwa penulis makalah penelitian "ilmu lunak" cenderung melebih-lebihkan hasil lebih sering daripada peneliti di bidang lain. Dalam makalah mereka yang diterbitkan di Proceedings of the National Academy of Sciences, Daniele Fanelli dan John Ioannidis menulis bahwa pelanggar terburuk ada di Amerika Serikat.

Dalam komunitas sains, penelitian lunak berarti penelitian yang dilakukan di bidang yang sulit untuk mengukur ilmu perilaku menjadi yang paling terkenal. Ilmu pengetahuan yang dilakukan mengenai cara orang (atau hewan) merespons dalam eksperimen cukup sering sulit direproduksi atau dijelaskan dalam istilah yang terukur. Untuk alasan ini, para penulis mengklaim, penelitian yang didasarkan pada metodologi perilaku telah dianggap (selama beberapa dekade) memiliki risiko bias yang lebih tinggi, dibandingkan dengan ilmu lain. Mereka berpendapat, bias semacam itu cenderung mengarah pada klaim kesuksesan yang meningkat.

Masalah yang disarankan oleh Fanelli dan Ioannidis adalah bahwa dalam soft science ada lebih banyak "derajat kebebasan" - peneliti memiliki lebih banyak ruang untuk merekayasa eksperimen yang akan mengkonfirmasi apa yang mereka yakini benar. Dengan demikian, kesuksesan dalam ilmu semacam itu didefinisikan sebagai memenuhi harapan, daripada mencapai tujuan yang ditentukan dengan jelas atau bahkan menemukan sesuatu yang baru.

Para peneliti sampai pada kesimpulan ini dengan mencari dan menganalisis 82 meta-analisis terbaru (makalah yang diproduksi oleh peneliti yang mempelajari makalah penelitian yang diterbitkan) dalam genetika dan psikiatri yang mencakup studi 1,174. Termasuk genetika memungkinkan duo untuk membandingkan studi sains lunak dengan studi sains keras serta mereka yang merupakan kombinasi dari keduanya.

Dalam menganalisis data, para peneliti menemukan bahwa para peneliti dalam ilmu lunak cenderung tidak hanya mengembang temuan mereka tetapi lebih sering melaporkan bahwa hasil penelitian mereka sesuai dengan asumsi asli mereka. Mereka juga menemukan bahwa makalah yang mendaftarkan para peneliti dari AS sebagai petunjuk cenderung menjadi pelanggar terburuk. Dalam pembelaan mereka, para peneliti menyarankan bahwa atmosfer mempublikasikan atau punah di AS berkontribusi terhadap masalah seperti halnya kesulitan dalam menentukan parameter keberhasilan dalam ilmu-ilmu lunak. Para penulis juga mencatat bahwa upaya penelitian yang mencakup ilmu keras dan lunak lebih kecil kemungkinannya daripada upaya ilmu lunak murni untuk menghasilkan hasil yang menggelembung.

Informasi lebih lanjut: Penelitian AS dapat melebih-lebihkan ukuran efek dalam penelitian yang lebih lembut, Diterbitkan online sebelum mencetak Agustus 26, 2013, DOI: 10.1073 / pnas.1302997110

Abstrak

Banyak bias yang mempengaruhi penelitian ilmiah, menyebabkan pemborosan sumber daya, mengancam kesehatan manusia, dan menghambat kemajuan ilmiah. Masalah ini dihipotesiskan akan diperburuk oleh kurangnya konsensus tentang teori dan metode, oleh proses publikasi selektif, dan oleh sistem karir yang terlalu berorientasi pada produktivitas, seperti yang diadopsi di Amerika Serikat (AS). Di sini, kami mengekstrak 1,174 hasil utama yang muncul dalam 82 meta-analisis yang diterbitkan dalam penelitian biologi dan perilaku terkait kesehatan yang diambil dari kategori Web of Science Genetika & Hereditas dan Psikiatri dan mengukur bagaimana hasil individu menyimpang dari ringkasan ukuran efek keseluruhan dalam meta masing-masing. -analisis. Kami menemukan bahwa studi utama yang hasilnya termasuk parameter perilaku umumnya lebih mungkin untuk melaporkan efek ekstrim, dan mereka dengan penulis terkait yang berbasis di AS lebih cenderung menyimpang ke arah yang diprediksi oleh hipotesis eksperimental mereka, terutama ketika hasil mereka tidak termasuk parameter biologis tambahan. Studi non-perilaku tidak menunjukkan "efek AS" seperti itu dan sebagian besar tunduk pada varian sampel dan efek studi kecil, yang lebih kuat untuk negara-negara non-AS. Meskipun temuan terakhir ini dapat ditafsirkan sebagai bias publikasi terhadap penulis non-AS, efek AS yang diamati dalam penelitian perilaku tidak mungkin dihasilkan oleh bias editorial. Studi perilaku memiliki konsensus metodologis yang lebih rendah dan kebisingan yang lebih tinggi, membuat para peneliti AS berpotensi lebih mungkin untuk mengungkapkan kecenderungan yang mendasari untuk melaporkan temuan yang kuat dan signifikan.

© 2013 Phys.org

“Peneliti menemukan peneliti melebih-lebihkan hasil sains-lunak-AS sebagai pelanggar terburuk.” 27 Agustus 2013. http://phys.org/news/2013-08-overestimate-soft-science-resultsus-worst.html