推 wtchen: 資料集規模（相對於模型維數）很大嗎？若是很大還有可能 08/14 23:41
→ wtchen: training/validation/test分開 08/14 23:42
→ wtchen: 若是不夠就只能拆成training/test，甚至用交叉驗證硬幹 08/14 23:44
推 patrick2dot0: 有看到你在八卦跟soft_job也有po 哈哈 08/15 00:20
→ patrick2dot0: 歡迎來到datascience板 08/15 00:21
推 polie4523: 個人淺見，有錯請多指教。我覺得以”研究”的角度，用v 08/15 02:24
→ polie4523: alidation調整參數看泛化能力就好了，實務上真的要應用 08/15 02:24
→ polie4523: 模型才需要看test，因為這才是乾淨可信能應用在未知資 08/15 02:24
→ polie4523: 料的指標。若是研究，反正也沒真的要拿來用，通常看val 08/15 02:24
→ polie4523: idation就可以知道大概的泛化能力，然後跟其他模型比較 08/15 02:24
→ polie4523: ，驗證該論文提出的方法是否能造成改變。 08/15 02:24
→ polie4523: 我的指導教授（非本科系）也很堅持要切test，但通常學 08/15 02:31
→ polie4523: 校研究用的資料量都很少，模型泛化能力一定很差，就算 08/15 02:31
→ polie4523: 真的test分數很高好了，但test資料很少可能不到100筆， 08/15 02:31
→ polie4523: 那就有可能是sample的樣本跟training很像所以分數很高 08/15 02:31
→ polie4523: ，而我完全不能相信test結果，天底下哪有這麼好的事 08/15 02:31
推 polie4523: 我是認為資料量少的時候不用切test，反正結果variance 08/15 02:41
→ polie4523: 會很大，例如今天你第一次看test準確率有50%，然後你再 08/15 02:41
→ polie4523: 取得新的資料測一次（如果按照那個比例的話）會發現準 08/15 02:41
→ polie4523: 確率80% 所以說這種不準的數據幹嘛測？拿去給模型訓練 08/15 02:41
→ polie4523: 還比較不浪費。 08/15 02:41
推 r40491101: 正常資料集少，都會用k-folder 08/15 04:10
→ r40491101: 基本上應該都會切成三個group，想問下是哪一篇論文呢？ 08/15 04:12
→ y956403: 如果test set是自己切 然後report在paper上的時候選在 08/15 12:26
→ y956403: test set上最好的perf 這樣不就變成val set了嗎 08/15 12:26
推 sxy67230: 傳統機器學習觀點validation set是用在模型選擇上，因 08/15 17:45
→ sxy67230: 為你需要配置最優超參數，而這個如果用測試集做就有點作 08/15 17:45
→ sxy67230: 弊傾向。 08/15 17:45
→ followwar: 先說是那些研究工作這樣做? 08/15 22:09
推 agario: 你說的新模型到底是哪些 08/19 20:32
→ agario: 舉個例子看看？ 08/19 20:32
→ VIATOR: 沒有test set, out-of-sample error可能會很高 09/06 08:44
→ VIATOR: 一堆研究在亂搞,做出看似很漂亮的數據,實際應用就破功 09/06 08:46
推 morisontw: 拿validation當test真的是作弊 10/12 16:03
推 stja: 11/06 17:34