ความเอนเอียงในการตีพิมพ์

ความเอนเอียงในการตีพิมพ์ (ผลงานวิจัย) (อังกฤษ: Publication bias) เป็นความเอนเอียง (bias) ในประเด็นว่า ผลงานวิจัยอะไรมีโอกาสมากกว่าที่จะได้รับการตีพิมพ์ ในบรรดางานทั้งหมดที่ได้ทำ ความเอนเอียงโดยธรรมชาติแล้วไม่ได้เป็นปัญหาทั้งหมด ยกตัวอย่างเช่น ความเอนเอียงในการที่จะไม่ตีพิมพ์เรื่องไม่จริงเป็นความเอนเอียงที่พึงปรารถนา แต่ความเอนเอียงที่เป็นปัญหาก็คือความโน้มน้าวที่นักวิจัย บรรณาธิการ และบริษัทผลิตยา มักจะมีความประพฤติกับผลงานทดลองที่เป็น "ผลบวก" (คือ แสดงว่าประเด็นการทดลองมีความสัมพันธ์กับผลอย่างมีนัยสำคัญ) แตกต่างจากงานทดลองที่เป็น "ผลลบ" (null result หรือผลว่าง คือ ประเด็นการทดลองไม่มีความสัมพันธ์กับผลอย่างมีนัยสำคัญ) หรือว่าไม่มีความชัดเจน ซึ่งนำไปสู่ความเอนเอียงที่ทำให้เกิดความเข้าใจผิดในเรื่องนั้น ที่มีในบรรดางานที่ได้รับการตีพิมพ์ทั้งหมด

Meta-analysis of on girls' math scores showing asymmetry typical of publication bias. From Flore, P. C., & Wicherts, J. M. (2015)

ความเอนเอียงนี้มักจะเป็นไปในทางการรายงานผลที่มีนัยสำคัญ แม้ว่าจริง ๆ แล้วงานทดลองที่แสดงนัยสำคัญไม่ได้มีคุณภาพการออกแบบการทดลองที่ดีกว่างานทดลองที่แสดงผลว่าง คือ ได้เกิดการพบว่า ผลที่มีนัยสำคัญมีโอกาสที่จะได้รับการตีพิมพ์มากกว่าผลที่แสดงผลว่างมากกว่าถึง 3 เท่า และก็มีการพบด้วยว่า เหตุผลสามัญที่สุดของการไม่ตีพิมพ์ผลงานก็คือผู้ทำงานวิจัยปฏิเสธที่จะเสนอผลงานเพื่อพิมพ์ (เพราะว่า ผู้ทำงานวิจัยหมดความสนใจในประเด็นนั้น หรือว่าคิดว่า ผู้อื่นจะไม่สนใจในผลว่าง หรือเหตุผลอื่น ๆ) ซึ่งเป็นข้อมูลที่แสดงถึงบทบาทของนักวิจัยในปรากฏการณ์ความเอนเอียงในการตีพิมพ์นี้

เพื่อที่จะพยายามลดปัญหานี้ วารสารแพทย์ที่สำคัญบางวารสารเริ่มมีการกำหนดให้ลงทะเบียนงานทดลองก่อนที่จะเริ่มทำเพื่อว่า ผลที่ไม่แสดงความสัมพันธ์ของประเด็นงานวิจัยกับผลจะไม่ถูกกักไว้ไม่ให้พิมพ์ มีองค์กรการลงทะเบียนเช่นนี้หลายองค์กร แต่นักวิจัยมักจะไม่รู้จัก นอกจากนั้นแล้ว ความพยายามที่ผ่านมาที่จะระบุหางานทดลองที่ไม่ได้รับการพิมพ์ปรากฏว่า เป็นเรื่องที่ยากและมักจะไม่เพียงพอ อีกกลยุทธ์หนึ่งที่เสนอโดยผู้ทำการวิเคราะห์งานวิจัยต่าง ๆ ก็คือให้ระวังการใช้ผลงานทดลองทางคลินิกที่ไม่ใช่แบบสุ่ม (non-randomised) และมีตัวอย่างทางสถิติน้อย เพราะว่า เป็นงานที่มีความเสี่ยงสูงต่อข้อผิดพลาดและความเอนเอียง

นิยาม

ตามบทความที่พิมพ์บทหนึ่ง

ความเอนเอียงในการพิมพ์เกิดขึ้น เมื่อการพิมพ์ผลงานวิจัยขึ้นอยู่กับลักษณะและทิศทางของผล

"ความเอนเอียงในผลเชิงบวก" (Positive results bias) เป็นความเอนเอียงในการตีพิมพ์อย่างหนึ่ง ซึ่งเกิดขึ้นเมื่อผู้ทำงานวิจัยมักจะเสนอ หรือบรรณาธิการมักจะรับ ผลเชิงบวกมากกว่าผลว่าง (คือผลที่แสดงว่าไม่มีความสัมพันธ์หรือไม่ชัดเจน)คำที่ใช้อีกคำหนึ่งคือ "ปรากฏการณ์ลิ้นชักเก็บเอกสาร" (file drawer effect) หมายถึงความโน้มน้าวที่ผู้ทำงานจะไม่ตีพิมพ์ผลงานที่แสดงผลลบหรือไม่ชัดเจน (คือเก็บไว้เฉย ๆ)

ส่วน "ความเอนเอียงในการรายงานผล" (outcome reporting bias) เกิดขึ้นเมื่อมีการวัดผลหลายอย่างในการทดลอง แต่มีการรายงานถึงผลโดยเลือกขึ้นอยู่กับการแสดงนัยสำคัญหรือทิศทางของผลนั้น มีคำบัญญัติภาษาอังกฤษที่สัมพันธ์กันก็คือ HARKing (Hypothesizing [การตั้งสมมติฐาน] After [หลังจาก] Results [ผล] are Known [ปรากฏแล้ว] ซึ่งเป็นกระบวนการทางวิทยาศาสตร์ที่ไม่รัดกุมยกเว้นในบางกรณีที่เลี่ยงไม่ได้)

ปรากฏการณ์ลิ้นชักเก็บเอกสาร

ปรากฏการณ์ลิ้นชักเก็บเอกสาร (file drawer effect) หรือปัญหาลิ้นชักเก็บเอกสาร ก็คือว่า อาจมีงานวิจัยต่าง ๆ เกี่ยวกับประเด็นหนึ่ง ๆ ที่ทำแล้วแต่ไม่มีการรายงาน และงานที่ทำแล้วไม่ได้รายงานรวม ๆ กันแล้วอาจจะแสดงผลที่แตกต่างจากงานที่มีการรายงาน กรณีแบบสุด ๆ อย่างหนึ่งก็คือกรณีที่สมมติฐานว่าง (null hypothesis) ของประเด็นที่ศึกษาเป็นความจริง ซึ่งก็คือความสัมพันธ์ (ระหว่างประเด็นที่ศึกษากับผลที่ต้องการ) ไม่มีจริง ๆ แต่ว่า งานวิจัย 5% ที่แสดงผลมีนัยสำคัญโดยเป็นความบังเอิญทางสถิติกลับเกิดการตีพิมพ์ ในขณะที่งานวิจัย 95% ที่แสดงผลว่างกลับถูกเก็บไว้ในลิ้นชักเอกสารของนักวิจัย แม้แต่การมีผลงานวิจัยในลิ้นชักเพียงแค่จำนวนน้อยก็สามารถที่จะมีผลเป็นความเอนเอียงโดยนัยสำคัญ คำว่า "file drawer problem" (ปัญหาลิ้นชักเก็บเอกสาร) เป็นคำที่บัญญัติขึ้นโดยนักจิตวิทยารอเบิรต์ โรเซ็นธัล ในปี ค.ศ. 1979

ผลของความเอนเอียงต่องานวิเคราะห์งานวิจัย

ผลของความเอนเอียงนี้ก็คือว่า งานที่มีการตีพิมพ์อาจจะไม่เป็นตัวแทนที่ดีของงานวิจัยทั้งหมดที่ได้กระทำ และความเอนเอียงนี้อาจทำงานวิเคราะห์งานวิจัย (meta-analysis) และงาน systematic review ที่วิเคราะห์ผลงานวิจัยจำนวนมากให้ผิดเพี้ยน ซึ่งเป็นวิธีสองอย่างที่การแพทย์อาศัยหลักฐาน (evidence-based medicine) เป็นต้นใช้ในการแสดงเหตุผลเพิ่มขึ้นเรื่อย ๆ ปัญหานี้อาจมีนัยสำคัญโดยเฉพาะเมื่องานวิจัยได้รับทุนจากองค์กรที่ต้องการได้ผลที่เป็นบวกเพราะเหตุผลประโยชน์ทางการเงินและเหตุสนับสนุนคตินิยม

จริงอย่างนั้น งานวิจัยในปี ค.ศ. 2013 แสดงว่า ผลงานทดลองทางคลินิกที่แสดงผลมีนัยสำคัญทางสถิติของวิธีการรักษาที่เป็นประเด็น และผลงานวิจัยโดยสังเกตการณ์ที่แสดงผลที่อาจมีนัยสำคัญทางสถิติ มีความน่าจะเป็นที่จะรับรวมเข้าในงานวิเคราะห์งานวิจัย (meta-analyse) ที่พิมพ์ในวารสารการแพทย์ทั่วไปที่สำคัญ สูงกว่างานวิจัยที่แสดงผลเป็นอื่น ๆ

ดังนั้น ผู้ที่ทำงานวิเคราะห์งานวิจัยและงาน systematic reviewต้องออกแบบวิธีเลือกงานวิจัยที่จะรวมเข้าในการวิเคราะห์โดยเผื่อความเอนเอียงเช่นนี้ วิธีหนึ่งที่ใช้ในการลดระดับความเอนเอียงนี้ก็คือ ต้องตรวจหาผลงานวิจัยที่ไม่ได้รับการพิมพ์อย่างถี่ถ้วน และใช้เทคนิคการวิเคราะห์ เช่น Begg's funnel plot หรือ Egger's plot เพื่อแสดงค่าของความเอนเอียงในการตีพิมพ์ที่อาจจะมี การทดสอบความเอนเอียงแบบนี้ตั้งอยู่บนทฤษฎีว่า งานวิจัยที่มีตัวอย่างทางสถิติน้อย (และมี variance คือค่าแปรปรวนสูง) จะเสี่ยงต่อควาเอนเอียงนี้ ในขณะที่งานวิจัยที่มีตัวอย่างมากจะไม่สามารถหลีกเลี่ยงการรับรู้โดยสาธารณชนและมีโอกาสสูงที่จะได้รับตีพิมพ์ไม่ว่าผลจะมีนัยสำคัญหรือไม่ และดังนั้น เมื่อวาดกราฟใช้ค่าประเมินทั่วไปร่วมกับค่าแปรปรวน (variance ซึ่งแสดงขนาดตัวอย่าง) มักจะเป็นรูปกรวยที่สมดุลเมื่อไม่มีความเอนเอียงนี้ ในขณะที่รูปกรวยที่ไม่สมดุล อาจจะแสดงความมีอยู่ของความเอนเอียงในการตีพิมพ์

และโดยขยายเทคนิค funnel plot ดังที่กล่าวในวรรคที่แล้ว มีการเสนอวิธี "trim and fill" เพื่อใช้ในการอนุมานว่า มีงานวิจัยที่ไม่ได้รับการพิมพ์ซ่อนเร้นอยู่ดังที่กำหนดได้โดยใช้ funnel plot แล้วแก้ค่าวิเคราะห์งานวิจัยให้ถูกต้อง โดยประเมินค่าที่มาจากงานวิจัยที่ไม่ได้รับการพิมพ์ เพื่อจะได้ค่าประเมินที่ไม่มีความเอนเอียง

นอกจากนั้นแล้วยังมีแบบเลือกงานวิจัย (selection model) ต่าง ๆ ซึ่งสามารถใช้ประเมินฟังก์ชันที่บอกความน่าจะเป็นที่งานวิจัยหนึ่ง ๆ จะได้รับเลือกให้อยู่ในงานวิเคราะห์งานวิจัย (meta-analysis) ตามระดับผลต่าง ๆ กัน แบบการเลือกงานวิจัยยังสามารถใช้เป็นวิธีวิเคราะห์งานวิจัยเมื่อมีความเอนเอียงในการตีพิมพ์

อย่างไรก็ดี เนื่องจากว่าวิธีตรวจสอบความเอนเอียงในการตีพิมพ์ทั้งหมดมีกำลังต่ำ (low power) และอาศัยข้อสันนิษฐานที่มีกำลังแต่ตรวจสอบไม่ได้ ผลลบที่ได้จากการตรวจสอบไม่ได้ยืนยันความถูกต้องของค่าสรุปต่าง ๆ จากงานวิเคราะห์งานวิจัย

ตัวอย่างต่าง ๆ

ยาแก้ซึมเศร้า Reboxetine เป็นตัวอย่างของความเอนเอียงของการทดลองทางคลินิก ยานี้ได้รับอนุมัติว่าได้ผลในการรักษาความซึมเศร้าในประเทศยุโรปหลายประเทศรวมทั้งประเทศอังกฤษในปี ค.ศ. 2001 ต่อมาในปี ค.ศ. 2010 จึงมีการพบโดยงานวิเคราะห์งานวิจัยว่า ยานี้จริง ๆ ไม่ได้ผล แต่ดูเหมือนได้ผลเพราะเหตุแห่งความเอนเอียงในการตีพิมพ์ในการทดลองเบื้องต้นที่พิมพ์โดยบริษัทผลิตยาไฟเซอร์ ต่อมาในปี ค.ศ. 2011 งานวิเคราะห์งานวิจัยของข้อมูลเดิมกลับพบข้อบกพร่องในงานวิเคราะห์งานวิจัยในปี ค.ศ. 2010 และเสนอว่า ยาได้ผลสำหรับกรณีซึมเศร้าที่รุนแรง เหตุการณ์นี้แสดงให้เห็นว่า ไม่ว่า Reboxetine จะมีผลหรือไม่มีก็ตาม แต่ว่า ผลการทดลองดั้งเดิมของไฟเซอร์แสดงความเอนเอียงในการตีพิมพ์ที่ชัดเจน (ดูตัวอย่างอื่น ๆ เกี่ยวกับยาที่ให้โดยเบ็น โกลแด็กเกอร์ และปีเตอร์ วิล์มเฮิร์สต)

ในสังคมศาสตร์ งานวิจัยหนึ่งตรวจสอบงานวิจัยเกี่ยวกับความสัมพันธ์ระหว่างการทำประโยชน์ให้กับสังคมกับผลกำไรของบริษัทต่าง ๆ แล้วพบว่า "ในวารสารทางเศรษฐกิจ การเงิน และการบัญชี ค่าสหสัมพันธ์โดยเฉลี่ย (ที่แสดงความสัมพันธ์ระหว่างการทำประโยชน์ให้กับสังคมกับผลกำไรของบริษัท) มีค่าแค่ครึ่งหนึ่งของค่าที่พบในวารสารเกี่ยวกับการบริหารปัญหาสังคม จริยธรรมธุรกิจ หรือธุรกิจและสังคม" คือ วารสารเกี่ยวกับปัญหาสังคมและศีลธรรมทางธุรกิจแสดงว่า บริษัทยิ่งได้กำไรเท่าไรก็ทำประโยชน์ให้กับสังคมมากเท่านั้น ในระดับที่ต่ำกว่าวารสารธุรกิจโดยทั่ว ๆ ไป (ซึ่งอาจจะแสดงถึงการมีความเอนเอียงในการตีพิมพ์)

งานวิจัยเกี่ยวกับเรื่องเหนือธรรมชาติ (paranormal) มักจะได้คำวิจารณ์ว่ามีความเอนเอียงในการตีพิมพ์ ตัวอย่างหนึ่งในปี ค.ศ. 2011 ก็คือบทความโดยแดริว เบอร์น ซึ่งแสดงหลักฐานเกี่ยวกับการเห็นอนาคตในระยะสั้น แต่ว่า ผลลบของนักวิจัยที่พยายามทำซ้ำงานทดลองนี้กลับไม่ได้รับพิมพ์ในวารสารที่พิมพ์ผลงานวิจัยดั้งเดิมที่แสดงผลบวก

งานวิจัยหนึ่ง เปรียบเทียบงานวิจัยของจีนและที่ไม่ใช่ของจีนเกี่ยวกับความสัมพันธ์ระหว่างยีนและโรค แล้วพบว่า "งานวิจัยของจีนโดยทั่ว ๆ ไปรายงานความสัมพันธ์ระหว่างยีนกับโรคในระดับที่สูงกว่า และผลที่มีนัยสำคัญทางสถิติบ่อยครั้งกว่า" คำอธิบายผลนี้อย่างหนึ่งก็คือความเอนเอียงในการตีพิมพ์

ระดับความเสี่ยง

ตาม ศ. John Ioannidis ผลงานวิจัยโดยทั่ว ๆ ไป มีโอกาสที่จะไม่เป็นจริงถ้ามีเหตุต่าง ๆ เหล่านี้ คือ

1. มีงานวิจัยที่ทำในภาคสนามน้อยกว่า
2. ขนาด (หรือระดับ) ผลที่ได้มีน้อยกว่า
3. ความสัมพันธ์ที่สามารถทดสอบได้มีเป็นจำนวนมากและมีการเลือกความสัมพันธุ์ที่จะตรวจสอบล่วงหน้าน้อย
4. มีความยืดหยุ่นในระดับสูงของการออกแบบ คำนิยาม ผล และวิธีการวิเคราะห์
5. มีผลประโยชน์ทางการเงินและในเรื่องอื่น ๆ เข้ามาเกี่ยวข้อง
6. มีทีมต่าง ๆ ในวงการวิทยาศาสตร์นั้น ๆ ที่กำลังเสาะหาผลที่มีนัยสำคัญมากกว่า

ศ. Ioannidis ยืนยันว่า "ผลงานวิจัยที่พิมพ์บ่อยครั้งอาจจะเป็นเพียงแค่ค่าวัดที่แม่นยำของความคิดเอนเอียงที่มีอยู่ทั่วไป"

การแก้ไข

วิธีแก้ไขที่ ศ. Ioannidis เสนอรวมทั้ง

1. งานวิจัยที่ใช้เทคนิคที่มีประสิทธิภาพดีกว่า รวมทั้ง
   • งานวิเคราะห์งานวิจัย (meta-analysis) ที่มีระดับความเอนเอียงต่ำ
   • งานวิจัยมีตัวอย่างทางสถิติมากที่สามารถจะแสดงผลที่ชัดเจน ใช้เพื่อทดสอบไอเดียสำคัญทั่วไปด้วย
2. มาตรฐานงายวิจัยที่สูงขึ้นรวมทั้ง
   • การลงทะเบียนวิธีการทดลองล่วงหน้าสำหรับงานทดลองแบบสุ่ม
   • การลงทะเบียนข้อมูลที่เก็บมาจากภาคสนาม หรือการแบ่งใช้ข้อมูลที่เก็บผ่านระบบเครือข่าย (ในงานภาคสนามบางอย่างที่นักวิจัยต้องการจะสร้างสมมติฐานอาศัยข้อมูลที่เก็บ)
   • โดยทำตามแบบงานทดลองแบบสุ่มมีกลุ่มควบคุม (randomized controlled trial) คือให้มีหลักในการออกแบบและทำตามกฎระเบียบวิธีการทดลอง (ที่ได้ออกแบบไว้ล่วงหน้า)
3. พิจารณาก่อนที่จะทำการทดลองว่า โอกาสมีเท่าไรในการได้ผลบวกหรือผลลบเกี่ยวกับความสัมพันธ์ที่เป็นประเด็น
   • ให้ประเมินความน่าจะเป็นของ false positive report (ผลที่แสดงว่าบวกโดยไม่ตรงกับความจริง) อย่างมีหลักเกณฑ์ โดยอาศัยพลังทางสถิติของวิธีการทดลอง
   • ให้ทำซ้ำการทดลอง (ถ้าถูกต้องตามจรรยาบรรณ) เพื่อเช็คผลการทดลองที่เป็นแบบฉบับ (คือมีผู้ให้ความสนใจหรือเป็นที่เชื่อถือมาก) โดยทำงานวิจัยที่มีตัวอย่างทางสถิติมาก ออกแบบให้มีความเอนเอียงน้อยที่สุด

การลงทะเบียนงานทดลอง

ในเดือนกันยายน ปี ค.ศ. 2004 บรรณาธิการของวารสารการแพทย์สำคัญ ๆ (รวมทั้งวารสารการแพทย์นิวอิงแลนด์, The Lancet, Annals of Internal Medicine และ Journal of the American Medical Association) ได้ประกาศว่า จะไม่พิมพ์ผลงานวิจัยเกี่ยวกับยาที่สนับสนุนโดยบริษัทผลิตยา ยกเว้นถ้างานวิจัยมีการลงทะเบียนกับฐานข้อมูลสาธารณะตั้งแต่ต้น นอกจากนั้นแล้ว วารสารบางวารสารเช่น Trials ยังสนับสนุนนักวิจัยให้พิมพ์วิธีการทดลอง (study protocol) ในวารสาร

ดูเพิ่ม

• ความเอนเอียงเพื่อยืนยัน

เชิงอรรถและอ้างอิง

1. Flore P. C.; Wicherts J. M. (2015). "Does stereotype threat influence performance of girls in stereotyped domains? A meta-analysis". J Sch Psychol. 53 (1): 25–44. doi:10.1016/j.jsp.2014.10.002. PMID 25636259.
2. PMID 20181324 (PMID 20181324)
   Citation will be completed automatically in a few minutes. Jump the queue or expand by hand
3. Easterbrook, P. J.; Berlin, J. A.; Gopalan, R.; Matthews, D. R. (1991). "Publication bias in clinical research". Lancet. 337 (8746): 867–872. doi:10.1016/0140-6736(91)90201-Y. PMID 1672966.
4. Dickersin, K.; Chan, S.; Chalmers, T. C. (1987). "Publication bias and clinical trials". Controlled Clinical Trials. 8 (4): 343–353. doi:10.1016/0197-2456(87)90155-3.
5. K. Dickersin (March 1990). "The existence of publication bias and risk factors for its occurrence". JAMA. 263 (10): 1385–1359. doi:10.1001/jama.263.10.1385. PMID 2406472.
6. D.L. Sackett (1979). "Bias in analytic research". Journal of Chronic Diseases. 32 (1–2): 51–63. doi:10.1016/0021-9681(79)90012-2. PMID 447779.
7. Robert Rosenthal (May 1979). "The file drawer problem and tolerance for null results". Psychological Bulletin. 86 (3): 638–641. doi:10.1037/0033-2909.86.3.638.
8. เป็นการเล่นคำของศัพท์ว่า hark ซึ่งแปลว่า ให้ความใส่ใจอย่างใกล้ชิด
9. N.L. Kerr (1998). . Personality and Social Psychology Review. 2 (3): 196–217. doi:10.1207/s15327957pspr0203_4. PMID 15647155. คลังข้อมูลเก่าเก็บจากแหล่งเดิมเมื่อ 2012-02-04. สืบค้นเมื่อ 2014-09-09.
10. Jeffrey D. Scargle (2000). (PDF). Journal of Scientific Exploration. 14 (2): 94–106. คลังข้อมูลเก่าเก็บจากแหล่งเดิม (PDF)เมื่อ 2015-01-22. สืบค้นเมื่อ 2014-09-09.
11. systematic review เป็นงานปริทัศน์เอกสารที่ตีพิมพ์เกี่ยวกับประเด็นปัญหางานวิจัยหนึ่ง ๆ ที่พยายามที่จะระบุ ประเมิน เลือก และสังเคราะห์หลักฐานงานวิจัยมีคุณภาพสูงที่เกี่ยวข้องกับประเด็นปัญหานั้น ๆ systematic review ของการวิจัยเชิงทดลองแบบสุ่มและมีกลุ่มควบคุม (randomized controlled trial) เป็นสิ่งที่ขาดไม่ได้ในการแพทย์อาศัยหลักฐาน (evidence-based medicine) จาก . Centre for Evidence Based Medicine. 2009-11-20. คลังข้อมูลเก่าเก็บจากแหล่งเดิมเมื่อ 2011-04-06. สืบค้นเมื่อ 2011-06-17.
12. Kicinski, Michal (November 2013). "Publication bias in recent meta-analyses" (PDF). PLOS ONE. สืบค้นเมื่อ 22 สิงหาคม 2557. {{}}: ตรวจสอบค่าวันที่ใน: |accessdate= ((help))CS1 maint: date and year ()
13. Sutton AJ, Song F, Gilbody SM, Abrams KR (2000) Modelling publication bias in meta-analysis: a review. Stat Methods Med Res 9:421-445.
14. Goldacre 2012. sfn error: no target: CITEREFGoldacre2012 ()
15. Wilmshurst 2007. sfn error: no target: CITEREFWilmshurst2007 ()
16. Marc Orlitzky. (PDF). คลังข้อมูลเก่าเก็บจากแหล่งเดิม (PDF)เมื่อ 2017-10-19. สืบค้นเมื่อ 2014-09-09.
17. "Backwards step on looking into the future". The Guardian. 23 April 2011.
18. Zhenglun Pan, Thomas A. Trikalinos, Fotini K. Kavvoura, Joseph Lau, John P.A. Ioannidis, "Local literature bias in genetic epidemiology: An empirical evaluation of the Chinese literature". PLoS Medicine, 2 (12) :e334, 2005 December.
19. Jin Ling Tang, "Selection Bias in Meta-Analyses of Gene-Disease Associations", PLoS Medicine, 2 (12) :e409, 2005 December.
20. Ioannidis J (2005). "Why most published research findings are false". PLoS Med. 2 (8): e124. doi:10.1371/journal.pmed.0020124. PMC 1182327. PMID 16060722.
21. Wacholder, S.; Chanock, S; Garcia-Closas, M; El Ghormli, L; Rothman, N (March 2004). "Assessing the Probability That a Positive Report is False: An Approach for Molecular Epidemiology Studies". JNCI. 96 (6): 434–42. doi:10.1093/jnci/djh075. PMID 15026468.
22. The Washington Post (2004-09-10). "Medical journal editors take hard line on drug research". smh.com.au. สืบค้นเมื่อ 2008-02-03.
23. "Instructions for Trials authors — Study protocol". 2009-02-15.

แหล่งข้อมูลอื่น

• Lehrer, Jonah (December 13, 2010). "The Truth Wears Off". The New Yorker (ภาษาอังกฤษ). สืบค้นเมื่อ 2020-01-30.
• Register of clinical trials conducted in the US and around the world, maintained by the National Library of Medicine, Bethesda
• Skeptic's Dictionary: positive outcome bias.
• Skeptic's Dictionary: file-drawer effect.
• Journal of Negative Results in Biomedicine
• The All Results Journals
• Journal of Articles in Support of the Null Hypothesis
• Psychfiledrawer.org: Archive for replication attempts in experimental psychology 2021-02-04 ที่ เวย์แบ็กแมชชีน