[討論] 發現模型開始過擬合，開發者能做什麼

[wang19980531 (中立評論員)]

一般用驗證集和訓練集的accuracy，
就能看出這個模型是不是往overfitting的方向發展，
這時開發者能做什麼？
(1) 停止訓練
(2) 加入dropout 或是 dropblock等增加訓練亂數
(3) 在每一次的gradient加入error feedback

還有其他方法嗎？
有沒有關於(3)方法的應用呢？

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.131.205 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1602331028.A.516.html
推 min86615: 可是3的方法應該有一些疑慮，如果給error feedback有點
→ min86615: 作弊的感覺，畢竟希望驗證是能部份模擬現實情況，沒看過
→ min86615: 資料的狀況下做判斷。而且通常驗證也會割比較少，不如看
→ min86615: 驗證出來預測錯誤的地方加上什麼架構可以有效修補。
推 geminitw: 有加batch normalization? 減少model complexity
推 geminitw: Learning rate decay
推 wtchen: 第一個你要確定是不是真的overfitting
→ wtchen: （驗證集accoracy先降後升）
→ wtchen: 然後確定樣本分佈夠均勻（做交叉驗證）
→ wtchen: 有時候就是訓練樣本多樣性不夠或是沒好好打散
→ wtchen: 再來就是加點regularization項牽制，以稍微增加偏差
→ wtchen: 的方式換得"大幅"增加誤差（要謹慎取捨）
→ wtchen:           減少