→ linfox: Psych Science的replication rate竟然有61% 09/01 17:11
→ linfox: 耶，看錯了(飄走 09/01 17:13
270科學家合作，僅能重覆36%心理學實驗結果
http://www.thenewslens.com/post/211550/
科學研究重視實驗證據，而任何證據都必須通過同行審查，在其他科學家反覆測試、確認
可靠方被接納成為學界共識。據估計，每年有200萬篇科學期刊論文刊出，如何能確保這
些論文的結果可靠，成為科學界的重要問題。
近日一項大型研究結果在《科學》期刊發表，270名心理學家合作，嘗試重覆過百項曾於
頂尖心理學期刊發表過的實驗。結果發現，原本100項實驗中97項結果具統計顯著性，重
覆實驗中這數字降到36項。如果把兩次實驗的數據合起來，則有68項，仍比原本的數字低
。足見即使是具質素的研究，仍可能無法重覆實驗結果。
然而如何解讀這項研究，並不簡單。
出版偏誤（publication bias）
學界早就有聲音質疑，現時學術出版的模式會令論文結果有偏差。
學術圈工作競爭激爭，有所謂「發表論文或消失」（publish or perish）的現象，令不
少科學家都需要發表成果爭取研究資金。這使得科學家傾向發表創新的結果，而非重覆已
有的實驗。
此外，我們傾向認為有顯著、正面結果（例如證實不同現象有關聯）的研究比較有趣，而
使得其他具質素、嚴謹但結果並不顯著甚至負面的研究無法刊出。這可能是因為研究員自
己認為結果不重要而沒有投稿，轉而花時間去其他研究上；又或是期刊方面認為這些論文
不吸引，因此拒絕刊出。
上述因素使得在期刊上的論文側重在正面、創新的結果，此即出版偏誤。即使某個研究結
果可能被其他研究否定，但基於出版偏誤，後者無法刊出。這會令學界需要花費更多時間
，才能夠辨別清楚哪些研究真正可靠，哪些不是。
重覆實驗
2011年底，是次大型研究的計劃開始，由開放科學中心的社會心理學家Brian Nosek統籌
。他找了世界各地多支研究隊伍，嘗試嚴謹地重覆三本重要心理學期刊上的實驗︰《
Psychological Science》、《Journal of Personality and Social Psychology》及《
Journal of Experimental Psychology: Learning, Memory, and Cognition》。
研究人員選取了三本期刊在2008年刊出的論文，用上這一年的研究，是因為足夠近而包含
原創的結果，但又不會太新而可以比較論文的反應、引用數量等。最終在488篇論文當中
，挑選了111篇論文分配給各支研究隊伍，總共做了113個實驗。這些實驗多數是論文中最
後一個實驗，也有其他是按可行性或原作者建議而做。
為了確保重覆的實驗條件盡量跟原本實驗一致，研究人員聯絡了所有原作者，讓他們提供
當時的研究數據、材料等，也讓他們檢視重覆實驗的設計。
研究結果
最終有100項實驗能在預定時間完成，研究人員分析結果，並跟原本實驗結果比較。雖然
研究人員表明，沒有單一指標可以判斷重覆實驗成功與否，而且他們選用的五個指標亦非
唯一，但整體而言如上所述，重覆實驗後統計上顯著的結果明顯較少。
不過研究人員亦指出，不應輕易把成功的重覆實驗結果視為印證理論，畢竟重覆實驗僅為
驗證結果的其中一環，我們還需要更多不同的實驗去排除其他可能解釋。另外，也不應輕
易因為重覆實驗失敗而否定原本的實驗，雖然他們盡力令實驗接近原本的設計，但還有無
法控制的因素使兩者結果有別。
更重要的是，今次研究是首次大型、開放、有系統地審視心理學實驗結果的計劃，所有數
據都放在網上。今次研究人員使用的系統，可以供學界日後使用。例如實驗人員可以把研
究數據公開，增加透明度，亦方便其他科學家重覆實驗。
科學進步的動力
論文的結論指出，雖然人類希望有確定的結果、知識，科學卻不常提供，單一研究結果幾
乎不可能徹底解釋一個現象。是次研究的原本實驗提供了初步證據，重覆實驗則提供額外
證據，有時進一步確認原本的結果，有時則說明我們需要更多研究去查明真相。
科學進步是一個累積知識、降低不確定性的過程，但只有科學界對自身保持懷疑，科學才
能進步。
最後研究人員表示，他們開始這項計劃，乃出於關注心理學的發展，以及相信這門學問的
知識能為人類有益。而實驗的可重覆驗證，對此目標極為重要。同時，累積證據是科學社
群自我修正的方法，而且這是最可能達致其終極目標——尋求真相——的方法。
論文:
http://www.sciencemag.org/content/349/6251/aac4716.full
--
這個數字蠻有趣的, 重複時驗只有約四成顯著.
可能原因有很多, 例如操作實驗的環境不同, 有做過實驗的就知道,
很多實驗有很多需要注意的小地方.
例如期末考周前後的實驗數據會比較差等.
不知道重複實驗是否有辦法控制這些.
但文章還是挑出一點很重要的觀念,
因為我們傾向發表有顯著的成果,
但那些無法顯著的成果理論上也很重要.
因為它可以呈現一個實驗是否是很穩定的(robust),
還是很因人而異.
而且若沒顯著的結果, 若理論是對的,
那就是實驗中有confounding factor影響了.
這也是很重要的一環.
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 134.58.253.57
※ 文章網址: https://www.ptt.cc/bbs/Cognitive/M.1441036245.A.0E7.html