regularized soln and true soln

[saltlake (SaltLake)]

 就數學表達式來說 regulariation 就是在原本的優化問題上

   P1 = min norm(f(x))

 再加上一個調整的項(term of regularization)而改去解

   P2 = min norm(f(x))+b*norm(g(x))

   添加調整項的原因在於 原始問題是 ill-conditioned

 從而讓我們用數值方法求解過程中 誤差會被放大而無法收斂

 到正解 所以要額外添加調整項讓調整後的新問題

  well-conditioned

   問題是解調整後的問題二(P2)所得的解肯定和原始問題一(P1)

 的解不同 而且後來添加的調整項的係數(b)值越大 調整解和

 原始解的差異越大

   那麼 倘若我們在數值求解過程中逐漸降低 b 值 就可以一方面

 讓數值收斂 一方麵讓求得的解更靠近原本問題的解?

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.136.208.34
※ 文章網址: https://www.ptt.cc/bbs/Math/M.1511590461.A.28F.html
→ LiamIssac   : 是的 參考ridge regression 當shrinkage parameter
→ LiamIssac   : 趨近於0 就會趨向olse
  所以理論上可行 問題在於需要有適當的數值技術

  確認求解過程不會跑掉而再度發散?

  還是說我們只要單純逐漸在求解過程中逐漸降低調整值(b)?

  例如用牛頓法 然後每次疊代逐漸降低調整值?

  還是有甚麼特殊的演算法?
※ 編輯: saltlake (220.136.208.34), 11/25/2017 16:56:30
→ LiamIssac   : ill-conditioned我是沒遇過 但一般來說基本的搜尋法
→ LiamIssac   : line search或是newton都可以用來找這些參數 或許可
→ LiamIssac   : 以參考LASSO的算法
→ LiamIssac   : 又或者是說 在調整這些參數的時候 你應該會有個準則
→ LiamIssac   :  像是ridge就是看mse 盡可能找使mse最小的那個方向
→ LiamIssac   :  所以也不一定都是往0去