[請益] 為什麼現在新的深度學習模型都很少割出te

[ruthertw (督人無數就是我)]

"為什麼現在新的深度學習模型都很少割出test dataset?"


在進行實驗的時候,

發現近三年來的研究工作,

很多都沒有切割test dataset,

論文裡也沒有列出test dataset的實驗結果.

反而都直接以validation dataset包含test dataset.

比例也從以往常用 train:val:test = 8:1:1 (7:2:1)

變成 train:val = 8:2


很多學校裡的指導教授還是要求要使用8:1:1這個鐵比例.


為什麼現在新的深度學習模型都很少割出test dataset?


這些新模型其實只是舉手之勞就可以做這到件事,

而且按照指導教授的要求,

論文裡要是沒有test dataset的實驗結果,

應該是不能被刊登.


不得其解...


大大們可以詳細說明解釋這個原因嗎?


還有,
想知道指導教授的堅持是對的嗎?

先謝謝各位深度學習的高手~

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.71.215.133 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1628928727.A.BDC.html
推 yiche: 請問可以條列出幾篇有這種情況的ICCV CVPR論文嗎？
推 lukelove: 一般的benchmark應該是光data就有分train/test吧 哪有必
→ lukelove: 要再把train的一部分拿去切test
推 Raymond0710: 有DataScience板
推 sooge: 你要相信投上的paper  還是相信你教授的話
→ KindWei: 本質上並沒有 test ，都看到的ground truth，大家一起調
→ KindWei: 分數就好啦，除非像 kaggle，有一個公正方把 test 藏起
→ KindWei: 來不給看，大家不要 overfit valid 才有意義
推 andy5656: 除非不曉得test set的label 不然有沒有切是一樣的
推 itis0423: 哪些 paper 沒有切 test set 啊好奇
推 jamfly: 你可以舉例你看的文章嗎？因為通常都會有公定的benchmark
→ jamfly: 來比較分數，不太有可能會有你說的只report validation se
→ jamfly: t的成績
推 sooge: 有小型dataset 一載下來就切 train 和test 而已 說到底vali
→ sooge: dation 和test 都是不被訓練過的資料 本質根本一樣用誰去測
→ sooge: 哪有什麼差
→ sooge: 並不是paper 不切 而是dataset 本身就沒切三份
推 sooge: https://github.com/huangkuns/wireframe
→ sooge: 我這篇CVPR paper的室內資料集就是切train和test而已
推 sooge: 然後很特別是這篇是從train  data 再切validation出來
→ sooge: https://github.com/cherubicXN/hawp
→ sooge: 這篇hawp同樣用上面那篇的dataset就沒再切validation出來
→ sooge: 所以一個validation真的是各種表態 唯一不變的是 人家拿的
→ sooge: 那份，你要稱validation還是稱test 的dataset要拿去當評分
→ sooge: 標準的 就絕對不能那下去訓練就對了
推 DarkIllusion: validation的評估指標參與模型選擇 跟test是有差的
推 followwar: sooge是國人? 該篇作者都是大陸人耶
→ agario: sooge 那篇是沒切 val 但原po說的是沒切test吧