นักวิจัยพบว่านักวิจัยประเมินผลทางวิทยาศาสตร์ที่อ่อนนุ่มสูงเกินไป: สหรัฐฯ - ผู้กระทำความผิดที่เลวร้ายที่สุด (2013)

สิงหาคม 27th, 2013 ในสาขาวิทยาศาสตร์อื่น ๆ / สังคมศาสตร์

(Phys.org) - นักวิจัยพบว่าผู้เขียนงานวิจัย“ soft science” มักจะพูดเกินจริงมากกว่านักวิจัยในสาขาอื่น ๆ ในบทความของพวกเขาที่ตีพิมพ์ใน Proceedings of the National Academy of Sciences Daniele Fanelli และ John Ioannidis เขียนว่าผู้กระทำผิดที่เลวร้ายที่สุดอยู่ในสหรัฐอเมริกา

ในชุมชนวิทยาศาสตร์การวิจัยแบบเบา ๆ หมายถึงการวิจัยที่ทำในพื้นที่ที่ยากต่อการวัดพฤติกรรมศาสตร์ซึ่งเป็นที่รู้จักกันดีที่สุด วิทยาศาสตร์ดำเนินการเกี่ยวกับวิธีที่ผู้คน (หรือสัตว์) ตอบสนองในการทดลองมักจะยากที่จะทำซ้ำหรืออธิบายในแง่ที่วัดได้ ด้วยเหตุผลนี้ผู้เขียนอ้างว่าการวิจัยโดยใช้วิธีการทางพฤติกรรมได้รับการพิจารณา (เป็นเวลาหลายสิบปี) ที่จะมีความเสี่ยงสูงต่ออคติมากกว่าวิทยาศาสตร์อื่น ๆ พวกเขามีอคติแนะนำว่ามีแนวโน้มที่จะนำไปสู่การเรียกร้องที่สูงเกินจริงของความสำเร็จ

ปัญหาที่ Fanelli และ Ioannidis ชี้ให้เห็นก็คือในทางวิทยาศาสตร์ที่อ่อนนุ่มมี“ ระดับของเสรีภาพ” มากขึ้น - นักวิจัยมีพื้นที่มากขึ้นในการออกแบบการทดลองที่จะยืนยันสิ่งที่พวกเขาเชื่ออยู่แล้วว่าเป็นจริง ดังนั้นความสำเร็จในศาสตร์ดังกล่าวจึงถูกกำหนดให้เป็นไปตามความคาดหวังแทนที่จะบรรลุเป้าหมายที่กำหนดไว้อย่างชัดเจนหรือแม้แต่การค้นพบสิ่งใหม่ ๆ

นักวิจัยมาถึงข้อสรุปเหล่านี้โดยการค้นหาและวิเคราะห์ meta-analyzes ล่าสุดของ 82 (เอกสารที่ผลิตโดยนักวิจัยที่ศึกษาบทความวิจัยที่ตีพิมพ์) ในพันธุศาสตร์และจิตเวชศาสตร์ที่ครอบคลุมการศึกษา 1,174 รวมไปถึงพันธุศาสตร์ที่ได้รับอนุญาตให้ดูโอเพื่อเปรียบเทียบการศึกษาวิทยาศาสตร์นุ่มกับการศึกษาวิทยาศาสตร์อย่างหนักเช่นเดียวกับที่เป็นการรวมกันของทั้งสอง

ในการวิเคราะห์ข้อมูลนักวิจัยพบว่านักวิจัยในสาขาวิทยาศาสตร์แบบนิ่มนั้นไม่เพียง แต่จะขยายผลการค้นพบของพวกเขาเท่านั้น แต่ยังมักจะรายงานว่าผลการวิจัยของพวกเขาตรงกับสมมติฐานเดิมของพวกเขา พวกเขายังพบว่าเอกสารที่ระบุว่านักวิจัยจากสหรัฐอเมริกาในฐานะผู้นำมีแนวโน้มที่จะเป็นผู้กระทำความผิดที่เลวร้ายที่สุด ในการป้องกันของพวกเขานักวิจัยแนะนำว่าบรรยากาศเผยแพร่หรือตายในสหรัฐอเมริกาก่อให้เกิดปัญหาเช่นเดียวกับความยากลำบากในการกำหนดค่าพารามิเตอร์ของความสำเร็จในวิทยาศาสตร์นุ่ม ผู้เขียนยังตั้งข้อสังเกตว่าความพยายามในการวิจัยที่รวมทั้งวิทยาศาสตร์ที่แข็งและอ่อนมีโอกาสน้อยกว่าความพยายามวิทยาศาสตร์ที่อ่อนนุ่มบริสุทธิ์เพื่อนำไปสู่ผลลัพธ์ที่สูงเกินจริง

ข้อมูลเพิ่มเติม: การศึกษาของสหรัฐอาจประเมินค่าขนาดผลกระทบสูงเกินไปในการวิจัยที่นุ่มนวลเผยแพร่ออนไลน์ก่อนพิมพ์สิงหาคม 26, 2013, DOI: 10.1073 / pnas.1302997110

นามธรรม

อคติหลายอย่างส่งผลต่อการวิจัยทางวิทยาศาสตร์ทำให้สิ้นเปลืองทรัพยากรเป็นภัยคุกคามต่อสุขภาพของมนุษย์และขัดขวางความก้าวหน้าทางวิทยาศาสตร์ ปัญหาเหล่านี้ได้รับการตั้งสมมติฐานว่าเลวร้ายลงเนื่องจากขาดความเห็นพ้องในทฤษฎีและวิธีการโดยกระบวนการตีพิมพ์ที่เลือกและระบบอาชีพที่มุ่งเน้นไปที่ผลผลิตมากเกินไปเช่นที่นำมาใช้ในสหรัฐอเมริกา (US) ที่นี่เราได้แยกผลลัพธ์หลัก 1,174 รายการที่ปรากฏในการวิเคราะห์เมตา 82 รายการที่ตีพิมพ์ในงานวิจัยทางชีววิทยาและพฤติกรรมที่เกี่ยวข้องกับสุขภาพตัวอย่างจาก Web of Science หมวดพันธุศาสตร์และพันธุกรรมและจิตเวชศาสตร์และวัดว่าผลลัพธ์แต่ละรายการเบี่ยงเบนไปจากขนาดผลสรุปโดยรวมภายในเมตาตามลำดับอย่างไร - การวิเคราะห์ เราพบว่าการศึกษาขั้นต้นที่ผลลัพธ์มีพารามิเตอร์พฤติกรรมโดยทั่วไปมีแนวโน้มที่จะรายงานผลกระทบที่รุนแรงและการศึกษาที่มีผู้เขียนที่เกี่ยวข้องซึ่งอยู่ในสหรัฐอเมริกามีแนวโน้มที่จะเบี่ยงเบนไปในทิศทางที่คาดการณ์โดยสมมติฐานการทดลองโดยเฉพาะอย่างยิ่งเมื่อผลลัพธ์ของพวกเขาไม่รวม พารามิเตอร์ทางชีวภาพเพิ่มเติม การศึกษาแบบไม่ใช้พฤติกรรมไม่พบ“ ผลของสหรัฐฯ” และส่วนใหญ่ขึ้นอยู่กับความแปรปรวนของการสุ่มตัวอย่างและผลกระทบจากการศึกษาขนาดเล็กซึ่งแข็งแกร่งกว่าสำหรับประเทศนอกสหรัฐอเมริกา แม้ว่าการค้นพบครั้งหลังนี้สามารถตีความได้ว่าเป็นการเผยแพร่อคติต่อผู้เขียนที่ไม่ได้อยู่ในสหรัฐอเมริกา แต่ผลกระทบของสหรัฐฯที่พบในการวิจัยเชิงพฤติกรรมนั้นไม่น่าจะเกิดจากอคติด้านบรรณาธิการ การศึกษาพฤติกรรมมีความเห็นพ้องเกี่ยวกับระเบียบวิธีที่ต่ำกว่าและมีเสียงรบกวนที่สูงขึ้นทำให้นักวิจัยชาวสหรัฐฯมีแนวโน้มที่จะแสดงความเอนเอียงในการรายงานผลการวิจัยที่ชัดเจนและมีนัยสำคัญ

© 2013 Phys.org

“ นักวิจัยพบว่านักวิจัยประเมินผลการศึกษาทางวิทยาศาสตร์อ่อนสูงเกินไป - สหรัฐฯเป็นผู้กระทำความผิดที่เลวร้ายที่สุด” 27 สิงหาคม 2013 http://phys.org/news/2013-08-overestimate-soft-science-resultsus-worst.html