Re: [情報] Should Peer Review Catch Fraud?

[timbrian (perk yourself up)]

※ 引述《ACE520 (ASE)》之銘言：
: 標題: [情報] Should Peer Review Catch Fraud?
: 時間: Mon Nov 28 15:01:35 2016
:
: 原文連結
: https://goo.gl/D8MIhc
: http://discovermagazine.com/
:
: 台灣學術界正在幫台灣,開拓另一條國際曝光度的管道
:
: Is it the job of peer reviewers to detect scientific fraud?
:
:
: I’ve been pondering this question for a while but lately my interest was
: sparked by the case of a retracted cancer biology paper in the high-profile
: journal Nature Cell Biology. Written by Taiwanese researchers Shih-Ting Cha
: et al., the article was published on the 15th August and retracted just three
: months later, after anonymous posters on PubPeer noticed several anomalies in
: the results.
:
: For instance, there was image duplication: the paper contained identical
: images that were meant to be of different mice:
:
: pubpeer
:
: Along with other image anomalies found in the paper, these duplications are
: evidence of either serious errors in manuscript preparation, or fraud.
:
: Now, Nature Cell Biology is a peer reviewed journal. Perhaps three or four
: independent scientific experts reviewed the Cha et al. paper before it was
: published. Shouldn’t they have spotted these problems? Isn’t that the job
: of reviewers? Opinions differ, as this (unscientific) poll of my Twitter
: followers shows:


   就以自己曾當過幾次生醫文章的 reviewer..

   其實真要造假  或是明知道有很大的機率是作者不那麼適當的 "便宜行事"

   似乎也真不能如何


   舉個例子

   有個  western blotting 的 data


                 A  :  +  -  +  -
                 B  :  -  +  -  +

  loading control   : .............


     很常有的例子是我問  可不可以多加一個 condition C

     結果文章改完回來

     就是 A, B, control 的圖絲毫沒變 （用原圖）

     就中間多給你一個 C  的 condition

     就以一個嚴謹的實驗來說

     除非你的樣品都有保留 或是 membrane 還留著

     不然理論上回來的data, 不管是 A B 跟 control 都要應該重跑一遍


     審一篇文章向來須時很久  甚至那data 有可能是兩三年前做的

     所以你跟我說 western 樣本都有保留

    (冰的那麼久還能用嗎? 或是那麼剛剛好sample 是submit 前才製備的?)，

     或是有保留 membrane （保留底片是必須的 但保留膜?），所以才保留文章原圖

     就常在弄實驗的人 都知道這機率實在不高

     但作為一個 reviewer 你能怎麼樣?



     還有一樣的情況是少跑 loading control，在我要求要補loading control 後

     結果文章改回來就給我多一欄的 loading control，

     其他圖都完全不變，這樣子的 data 嚴謹嗎?

     做 reviewer 是否該要求這整張圖重做?




     更別提很多 cell or 組織 imaging 的圖都是只秀出能符合 hypothesis 的區塊

     有在作實驗的都知道

     很多漂亮的 hypothesis 等到正式作實驗後  情況都會不如預期（或是差異不大）

     但是一旦沒有漂亮的 hypothesis，

     那些大期刊 editor 常一句 “no general interest” 拒掉, 審都不審


     以前在美國時，老闆只對他想的 hypothesis 有興趣，

     只要 data 不能符合他的期待

     結果不是被忽視， 辛苦做的 data 被丟在一邊  擺一百年都不發

     不然就是直接黑掉，  反正兩者結局一樣: 被學術界淘汰，或當學術長工

     自然很羨慕那些 data 怎麼做都能符合老闆假說, 而 CNS 狂發的神人

     學術界有些畸形生態久了 感覺待久都不大健康

     現在進入業界後，只有研究有需要參考到那些大期刊的文章，

     第一件事情就是 repeat 一些文中較簡單的實驗，一旦一兩項不能重復後

     整篇就連探討就都不想探討，碰的太多..浪費時間


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.110.202.6
※ 文章網址: https://www.ptt.cc/bbs/AfterPhD/M.1480335167.A.0C5.html
推 goodday06: 就reviewer說要補甚麼  下回就都補出來了
推 hint: 就說美國很多大頭也是這樣 國外的月亮不會比較圓 不要妄自
→ goodday06: reviewer 也看到效率這麼高  也只能說 impressive...
推 sshyu954: 雖然不是這個領域的，但我想我會challenge作者的
→ blence: 很難挑戰,當作者都說用同批lysate或先前就有做,你也沒輒
推 sshyu954: 不會。先質疑再說。等他來說服我。
→ blence: 就講了阿,同一批lysate,你怎麼反駁呢？
→ blence: 不如直接另闢戰場(要求限制條件的data),作者就只能重做
推 MartianIT: 就算限制條件也不見得能叫作者重做 比如說通訊作者是
→ MartianIT: 大頭 一句話頂回來就period了
→ blence: 當然那是相較於隨便補一條Ab而言,什麼都不補又是另一件事
推 skylawer: 什麼都不補 反而比較好打槍 補了後反倒比較難懷疑真實性
推 sshyu954: 不是很理解生醫，在工程，就算是大頭，只要有疑問照
→ sshyu954: 打槍，甚至REJECT。生醫的大頭有這麼可怕啊！？
推 lail: 因為你審他的paper，但是他可能審你的計劃/預算啊
推 sshyu954: 言下之意，所謂的匿名審查在生醫界不是那麼的匿名？
推 fieed: 不如說圈子太小，看風格很容易猜出來是誰審的。
推 JSFERRO: 如果大多是外國(非國內)學者審，應該沒這問題才對。是嗎?

  主要是一般 reviewer 在審，都是以信任的角度去審，而不會先預設這篇是造假的

  畢竟，reviewer 不可能一邊審，一邊自己去repeat 實驗驗證真假

  自己親自作實驗的，就會知道知道要去試最佳條件要花多久時間，

  但是如果作者在最短時間，給你最佳的結果，你一般也只能選擇相信他

  （假設沒有出太嚴重的錯誤情況下）

   舉個例子，像是 1/1 號要求作者要多兩個男新生兒的數據，

   結果 10/2 作者就就給你踫出一對男雙胞胎。

   當 reviewer 怎麼懷疑作者就是天生神力加好運，1/2 就剛好給你受孕？

   然後剛好預產期一分不差就生出來？

   難道要我們 reviewer 自己也去生生看？

   最後也只能說 " Wow, so impressive !!!!"

   一般念到博士，如何去“做”出 data 不是難事

   而作為reviewer 也不是不能瞭解如何可以造出 "需要的data"

   要質疑，真的質疑不完....

   要非這次的風暴是做圖做的太粗劣，不然生醫實驗能作手腳的空間太大了。


   說真的，真的聽太多那些每年都有好幾篇 CNS 大paper 產出的知名 Lab，

   data 無法 repeat 了

   就像是你可以理解有人也許運氣很好，或砸錢很多 而連續三期大樂透都有中獎

   但當你聽到連續三期大樂透的頭獎都在同一家，難道你不會有點質疑？


※ 編輯: timbrian (123.110.202.6), 11/29/2016 00:51:18
推 duriamon: 投稿人跟審稿人都當假科學家，這個年頭科學還真是廉價…
→ duriamon: …不想當科學家的話去當商人比較不用跟良心過不去。
※ 編輯: timbrian (123.110.202.6), 11/29/2016 01:03:24
推 JSFERRO: 感謝詳細的解釋！
→ ewayne: 這年頭的商人，還剩幾個是有良心的呢～
推 MartianIT: "猜reviewer"有時不是那麼難 研究做到枝微末節 圈子就
→ MartianIT: 很小了 然後可能會用"推薦reviewer" 再加上reviewer
→ MartianIT: 寫作的風格 有時候跟本一看就知道是誰給的comments
→ MartianIT: 做科學本來就是良心事業 你憑良心做研究 也相信同行會
→ MartianIT: 憑著良心做研究 體制就是基於互信而運作 不然就崩潰了
→ Barolo: 你說的這確實是問題 但也有reviewer要求補些奇怪的實驗
→ Barolo: 過去回信直接argue 從來也沒有reviewer退讓 落的就投不上
→ Barolo: 而已 那最後也只能全力配合reviewer的要求 無奈阿
推 MartianIT: 有時reviewers要求補一堆實驗 也會吵回去 讓reviewer退
→ MartianIT: 讓 其實能說服reviewer就好了
→ saltlake: 審查的抗辯本就和寫論文一樣有技術 兩者都要有說服力
→ saltlake: 才能說服做最終決定的主編  至於推薦的審稿者 有期刊
→ saltlake: 規定主編或者副編挑審查者時一定要接受?