看板 DataScience 關於我們 聯絡資訊
前陣子在ICLR 2020的投稿中, 有一篇名為 Recurrent Hierarchical Topic-Guided Neural Language Models 的論文, 提出一種新的language model, 結合了stochastic-gradient MCMC 跟recurrent autoencoding variational Bayes, 宣稱他們的架構可以捕捉到句內跟句間的依賴性。 前三個reviewer都給了他8分的高分, 看起來是一篇要被ICLR 2020錄取的論文了, 這時area chair提出了一個問題, 他說現在state of the art的language model, 幾乎都是基於transformer的架構, 認為這個架構應該要跟transformer-XL比較。 面對這個問題, 作者表示提供了若干原因解釋了為什麼這兩個架構不具有可比性, 包括Model size、Model construction、 Interpretability 跟 Larger-context language model, 之後Area Chair表示感謝您的回答, 但我仍認為這model需要跟transformer-XL比較。 而接著第四跟第五個reviewer都給了這篇1分的評價。 po到這個板上是想跟大家討論一下, 大家對於這個爭議事件的看法。 先不論兩個model具不具有可比性, 三個reviewer給8分,兩個reviewer給1分, 本身就是滿有爭議的了。 若大家對於評分爭議或model可比性有什麼看法, 歡迎在底下分享討論。 open review 網址 : https://openreview.net/forum?id=Byl1W1rtvH 知乎 量子位 網址 : https://zhuanlan.zhihu.com/p/96629083 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.136.43.145 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1576574480.A.F7E.html
kenkao25: 省稿的爭議原本就很多 有時候只能希望遇到好的reviewers 12/17 20:42
sxy67230: 基本上就審稿評審真的很大,現代的Journal 雖然都是隨 12/17 21:59
sxy67230: 機審稿委員,但是審稿委員有一些偏見的話,就會給比較低 12/17 21:59
sxy67230: 的分數 12/17 21:59
sxy67230: 我自己碩士的時候投Journal 也是這樣,審稿來來回回11 12/17 22:03
sxy67230: 個月的都有,尤其是大刊。現在的DNN就Attention 架構的 12/17 22:03
sxy67230: 模型當道,你不用Attention Based Model就要證明你的東 12/17 22:03
sxy67230: 西是超越Attention 的不然都會被打低分 12/17 22:03
sxy67230: 不然就是你要提出比較當今流行模型,否則也是低分。我 12/17 22:18
sxy67230: 其實覺得用一大堆巨量資料去'蒸餾'的方法根本是病態的, 12/17 22:18
sxy67230: 人類的元學習能力根本不是這樣去蒸餾訊息。Bert你現在要 12/17 22:18
sxy67230: 更好,我們就來用更質量更高的資料吧,於是Roberta就出 12/17 22:18
sxy67230: 來了。XLNet的概念很好,回歸了語言模型的問題,但是Rob 12/17 22:18
sxy67230: erta又把整個NLP領域帶入數據深淵,我覺得這是當前的困 12/17 22:18
sxy67230: 境 12/17 22:18
hsnuyi: 沒看過被拒後 審稿人把你的東西改一下自己發的例子嗎? 12/18 00:42
steven95421: 推樓樓上 12/18 12:32
roccqqck: 樓樓上的困境應該是學術界根本贏不了大公司XD 12/18 14:20
roccqqck: 樓樓樓上才對 12/18 14:20
roccqqck: 然後大公司根本不需要投稿也有人會看你論文 他們就釋出s 12/18 14:23
roccqqck: ource code放GLUE之類的排行榜就好 硬體跟人力跟data都 12/18 14:23
roccqqck: 玩不贏大公司啦 12/18 14:23
roccqqck: 講白了這篇就算真的上期刊了 大概也沒多少人去看 12/18 14:39
roccqqck: 就跟sxy講得一樣 沒有蒸餾一個pretrained model出來 12/18 14:41
roccqqck: 根本沒人鳥你 這投稿就賺學術點數而已 12/18 14:42
roccqqck: 然後證明自己會改模型內部 履歷還是有幫助 12/18 14:44
erre: 掰陳call改一改就知道哪個贏,然後又可以做ai 12/18 16:49