Re: [問題] Validation set 到底在做什麼?

[CharlieL (心平氣和)]

這篇很早期的有關 CV 與 holdout (single validation) 的比較可以給大家參考。

http://robotics.stanford.edu/~ronnyk/accEst.pdf

而就我個人粗淺的觀點，高維度的機器學習固然是個困難的問題，
但 cross-validation 被統計學家發明出來的時候，可還沒有高維度的機器學習呢。:-)
所以把 cross-validation 講成是解決高維度中 train/validation 分割困難
的方式，也許有一些 human overfitting 的誤解。

我的看法是：cross-validation 是一種統計工具，用來協助我們估計模型的表現。
在模型的表現較不穩定的時候(可能因為維度、演算法、資料分佈等原因)，它
通常能用更多的計算量達成比 holdout 更穩定的估計。

另外一提的是：前文中所提到的 normalization/scaling 的技巧，在機器學習中
的確非常有用，但它們也不見得是為了解決高維度機器學習的困難而產生的。
我的淺見是，scaling 並不會讓 train/validation splitting 變得更容易或
更困難，因為大部份的 splitting 方法都只對 data 的 index 做 splitting，
而跟 data 的 numerical range 無關。有機會的話我再跟大家聊聊 scaling 為什麼
會有用，不過我想這不是這篇討論的重點。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.171.61.194
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1522167114.A.3A7.html
推 syc0924: 大家好 打給後
推 leoloveivy: wow 田神出來啦 大家麻煩排隊跪
推 goldflower: 喔喔喔喔喔喔田神來啦~~~~~
推 howardwu: 推! <(_ _)>
推 goldflower: 目前最常見的理由似乎是gradient based的方法有好處
→ goldflower: 另一個就是算error比較不會炸掉 不知道還有什麼解釋@@
→ goldflower: 之前校園博覽會經過攤位  但是太廢了不敢投XD
推 m3xup6: 臉書看到，朝聖推一下
推 p23637100phi: 推田神心平氣和xd
推 patrick2dot0: 推田神
推 seasa2016: 朝聖XD
推 empennage98: 推田神！
推 pipidog: 除重看了cv,確實覺得前文有些觀念不對了！得再好好想想
推 skgg: 朝聖！
推 lucien0410: 朝聖！
推 tay2510: 朝聖推!!!
推 liang1230: 推 上篇文看的頭好痛
推 Rprogramming: \朝聖田神/
推 ACMANIAC: 推
推 del680202: 朝聖推
推 yuyusica: 朝聖推 m(_ _)m
推 shaform: <(_ _)>!!!!!
推 walkwall: 朝聖推
推 st1009: 朝聖推！
推 jojojen: 朝聖!!!
推 warex14: 朝聖！
推 a127000555: 推田神
推 dragon31536: 朝聖推！
推 championship: 田神先拜
推 ballislife: 田神 !!
推 fatlizard: 朝聖推
推 Plot3D: 有神快拜
推 eatpupu: 膝蓋碎裂
推 moonoftree: 跪了
推 f0958425316: 朝聖推
推 sunhextfn: 朝聖推
推 kokolotl: !
推 mazz: 朝聖
推 chadcooper: 推田神~~~~~~~~~~~~~~
推 wilson85771: 朝聖推
推 normaldistr: 以跪
推 chris810314: 朝聖～～～
推 tritonight: 推
推 Radler: 推
推 ricknfts: 跪著推
推 jbwwwopa: 朝聖
推 liualt: 推田神 !
推 musicmilif: >//////<
推 vvind: 推
推 mcps5601: 朝聖田神>//<
→ HYDE1986: 朝聖
推 w181496: 朝聖