[問題]Regularization的數學方法

[newlylive (旅程)]

  Regularization可以用來平滑曲線
  https://en.wikipedia.org/wiki/Regularization_(mathematics)


  原始資料  = 平滑資料 + 雜訊
  Tikhonov Regularization(ridge regression) 限制beta

  Total Variation Regularization            限制1階微分

  Cubic Smoothing Spline                    限制2階微分
  ^^^^^^^^^^^^^^^^
  就是經濟學常見的HP濾波

  3者都是讓  (原始資料與平滑資料的平方差 + 額外限制)最小化
  也都能透過求反矩陣找到平滑資料
  若沒有額外限制就是常見的最小平方法迴歸

  請問就數學方法來說是不是可以用限制1階 2階....N階微分找平滑曲線
  甚至 同時限制 1階微分+2階微分  或者更多個同時限制條件

  看數學式  都很像最小平方法，只是多加一些運算式




--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.237.205.137
※ 文章網址: https://www.ptt.cc/bbs/Math/M.1473491924.A.09A.html
※ 編輯: newlylive (36.237.205.137), 09/10/2016 15:19:26
→ LiamIssac   : constrained leadt squares
→ LiamIssac   : 常見的就是 lasso (l1 norm) ridge(l2 norm) 跟 bri
→ LiamIssac   : dge regression (lp norm)等
這些都是對beta作限制  但常見都是在論文中吧
課本中我就都沒看過
※ 編輯: newlylive (36.237.205.137), 09/12/2016 00:07:30
→ LiamIssac   : 課本至少有ridge
→ LiamIssac   : spline smoothing就要看看專書或是nonparametric的
→ LiamIssac   : 一些書