LS soln w semi norm

[saltlake (SaltLake)]

 J(x) = min norm( b-A*x, 2 )+c^2*norm( L*x, 2 )

  A is m-by-n, rank(A) = n

  L is p-by-n, rank(L) = p

 what is the soln of this problem?

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.136.61.144
※ 文章網址: https://www.ptt.cc/bbs/Math/M.1513346412.A.68C.html
推 zako1113    : inv(A'A + c^2 L'L) A' b           ' 指 transpose
  How do we express the soluntion in terms of SVD?

  Say, for I(x) = min norm( b-A*x )+c^2*norm( x, 2 )

  We have x = sum( f_i*u'*b*v_i, i = 1 to k ), k = rank(A)

  ' means transpose

  f_i = s_i/( s_i^2+c^2 )

  A = U*S*V'

    Now how do we express the solution of J(x) being expressed

  in a form like we have above for the soln of I(x)?
※ 編輯: saltlake (220.136.61.144), 12/16/2017 02:30:05
推 zako1113    : https://goo.gl/M9TEQA
  感謝回應

  但該分解式是給參數項是 c^2*norm( x, 2 )

  如果參數項是 c^2*norm( L*x, 2 ) 的時候呢?

※ 編輯: saltlake (114.44.192.117), 12/16/2017 07:52:51
推 zako1113    : 應該沒類似的式吧 L跟A的singular vector不同
推 zako1113    : Matrix Computation (4th Ed) by Gene H. Golub
→ zako1113    : 6.1.5和6.1.6有用GSVD寫的公式 要L是invertible
  手上沒那本書

  不過，那個 L 矩陣是對 x 做數值差分，確實不是方陣
※ 編輯: saltlake (114.44.192.117), 12/16/2017 15:08:39

  請問該書推導 GSVD 的過程可看出要求 L 非奇異方陣這限制的地方嗎?

  畢竟 SVD 原本的概念裡面就是給矩陣分解，而且分解所得的奇異值也沒

  限制應全為正數，而是非負數。概念上就是"奇異的部分"的奇異值是零。

  以此猜測，增廣奇異值分解式必須限制其中一個矩陣為非奇異方陣有點怪。
※ 編輯: saltlake (114.44.192.117), 12/16/2017 18:59:09
→ LiamIssac   : singular value為0 怎麼還有解?
→ LiamIssac   : 而且我看不出哪裡用到semi-norm
推 zako1113    : 不是GSVD要L是可逆, 是要寫regularized soln時要的
→ zako1113    : 要 L 是可逆似乎是要讓 L 沒有 zero singular value
→ zako1113    : 確保那個類似 A'A + c^2L'L 的矩陣是正定->有唯一解