[討論] ICLR審稿爭議

[patrick2dot0 (第一中鋒)]

前陣子在ICLR 2020的投稿中，

有一篇名為

Recurrent Hierarchical Topic-Guided Neural Language Models

的論文，

提出一種新的language model，

結合了stochastic-gradient MCMC

跟recurrent autoencoding variational Bayes，

宣稱他們的架構可以捕捉到句內跟句間的依賴性。



前三個reviewer都給了他8分的高分，

看起來是一篇要被ICLR 2020錄取的論文了，

這時area chair提出了一個問題，

他說現在state of the art的language model，

幾乎都是基於transformer的架構，

認為這個架構應該要跟transformer-XL比較。



面對這個問題，

作者表示提供了若干原因解釋了為什麼這兩個架構不具有可比性，

包括Model size、Model construction、

Interpretability 跟 Larger-context language model，

之後Area Chair表示感謝您的回答，

但我仍認為這model需要跟transformer-XL比較。

而接著第四跟第五個reviewer都給了這篇1分的評價。



po到這個板上是想跟大家討論一下，

大家對於這個爭議事件的看法。

先不論兩個model具不具有可比性，

三個reviewer給8分，兩個reviewer給1分，

本身就是滿有爭議的了。

若大家對於評分爭議或model可比性有什麼看法，

歡迎在底下分享討論。

open review 網址 : https://openreview.net/forum?id=Byl1W1rtvH

知乎 量子位 網址 : https://zhuanlan.zhihu.com/p/96629083


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.136.43.145 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1576574480.A.F7E.html
推 kenkao25: 省稿的爭議原本就很多 有時候只能希望遇到好的reviewers
推 sxy67230: 基本上就審稿評審真的很大，現代的Journal 雖然都是隨
→ sxy67230: 機審稿委員，但是審稿委員有一些偏見的話，就會給比較低
→ sxy67230: 的分數
推 sxy67230: 我自己碩士的時候投Journal 也是這樣，審稿來來回回11
→ sxy67230: 個月的都有，尤其是大刊。現在的DNN就Attention 架構的
→ sxy67230: 模型當道，你不用Attention Based Model就要證明你的東
→ sxy67230: 西是超越Attention 的不然都會被打低分
推 sxy67230: 不然就是你要提出比較當今流行模型，否則也是低分。我
→ sxy67230: 其實覺得用一大堆巨量資料去'蒸餾'的方法根本是病態的，
→ sxy67230: 人類的元學習能力根本不是這樣去蒸餾訊息。Bert你現在要
→ sxy67230: 更好，我們就來用更質量更高的資料吧，於是Roberta就出
→ sxy67230: 來了。XLNet的概念很好，回歸了語言模型的問題，但是Rob
→ sxy67230: erta又把整個NLP領域帶入數據深淵，我覺得這是當前的困
→ sxy67230: 境
→ hsnuyi: 沒看過被拒後 審稿人把你的東西改一下自己發的例子嗎?
推 steven95421: 推樓樓上
→ roccqqck: 樓樓上的困境應該是學術界根本贏不了大公司XD
→ roccqqck: 樓樓樓上才對
→ roccqqck: 然後大公司根本不需要投稿也有人會看你論文 他們就釋出s
→ roccqqck: ource code放GLUE之類的排行榜就好 硬體跟人力跟data都
→ roccqqck: 玩不贏大公司啦
→ roccqqck: 講白了這篇就算真的上期刊了 大概也沒多少人去看
→ roccqqck: 就跟sxy講得一樣 沒有蒸餾一個pretrained model出來
→ roccqqck: 根本沒人鳥你 這投稿就賺學術點數而已
→ roccqqck: 然後證明自己會改模型內部  履歷還是有幫助
推 erre: 掰陳call改一改就知道哪個贏，然後又可以做ai