Re: [線代] Sparse近似最佳化問題

[abc2090614 (casperxdd)]

※ 引述《znmkhxrw (QQ)》之銘言：

這兩個問題不是等價

是 0-norm optimization 的解 在一些情況可以用 1-norm optimization 去作

得出的結果會一樣

你可以去找compressed sensing的書或paper

像是 Foucart 的書裡應該有完整證明

或是basis pursuit搜一搜應該也有



另外推文裡說的是對的

第一條式子是 Tikhonov regularization (或叫ridge regression)

lambda 在沒有noise的情況可以解析解出來, 但實際應用上一般都是去猜noise的大小後

用 (Morozov) discrepency principle 去估計


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 108.190.60.137
※ 文章網址: https://www.ptt.cc/bbs/Math/M.1466132058.A.EF3.html
※ 編輯: abc2090614 (108.190.60.137), 06/17/2016 10:57:35
推 znmkhxrw    : 謝謝喔!
推 znmkhxrw    : 另外請問一下 這個正規化的目的是本身每個lamda所
→ znmkhxrw    : 對應出來的x是有用的,然後剛好當lamda趨近0時會等
→ znmkhxrw    : 於A^+(偽逆矩陣),還是單純發明正規化就是要近似解(
→ znmkhxrw    : 電腦比較好算)??
推 zako1113    : 可以看一下 http://www.imm.dtu.dk/~pcha/Regutools
→ zako1113    : Complete manual (pdf file) 的5-6頁
→ zako1113    : 就是當A的condition number大的時候, 解Ax=b是很
→ zako1113    : unstable的, 通常是A會把高頻的input消去
→ zako1113    : 而作LSQ解的時候就會相反, 把高頻的noise放大
→ zako1113    : 所以b有誤差的時候 直接的LSQ解也沒用
→ abc2090614  : 正規化就是要找近似解  因為有noise時直接解
→ abc2090614  : Ax=b 跟樓上說的一樣很不穩定
推 znmkhxrw    : 大約知道了 謝謝!