Re: [理工] 線代 102交大 svd

[DLHZ (going faster)]

※ 引述《ching4562 (monster710623)》之銘言：
: https://i.imgur.com/UhN9ST2.jpg
: https://i.imgur.com/9lFqTr9.jpg
: 問一下(b)圈起來的地方為何會相等？

SVD的方向目前沒什麼想法

從另一個觀點解的話

在Ax=b有解的情況下(即b屬於A的行空間)

x屬於Rn

由列空間是零空間的orthogonal complement可知

x可以分解成y+z

其中y屬於A的列空間z屬於A的零空間

再由 ||x||^2 = ||y||^2 + ||z||^2

可知最小2-norm的解必定屬於列空間

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.46.0.66 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Grad-ProbAsk/M.1577517990.A.513.html
推 mi981027: 這是證Ax = b 的minimal solution在A的列空間的方式
→ mi981027: 但題目要證的是Ax = b 的 minimal least square solutio
→ mi981027: n 也在A的列空間 我覺得方向應該差不多 但可能還是要從A
→ mi981027: +的方向下手??
我試著寫一下

假設A為一m*n 矩陣，rankA = r

-> v1~vr為列空間的基底，vr+1~vn為零空間的基底。

以下用S代表sigma

Ax = b = USV^Tx

x = V(S^+)U^Tb, xi = (ui^T b/si) vi

可知解x皆為vi的線性組合 -> 屬於列空間。

若n = r，零空間只有0，解唯一。

若n > r，存在齊次解使得一般解等於特殊解加上齊次解。

使得xi = Sigma(i=1~r) (u^T b/si) vi + Sigma(i=r+1~n) civi

再來相似於前面畢氏定理的說明，可知最小2-norm的x屬於列空間。

推 gash55025502: 其實就把Ax=b改成A^T*Ax=A^Tb就好了 也可以得到x屬
→ gash55025502: 於Rn
※ 編輯: DLHZ (114.46.0.66 臺灣), 12/28/2019 17:17:08
推 pyramidinc: least square solution 可以寫成 particular solution
→ pyramidinc:  + general solution 而general solution 又是屬於Nul
→ pyramidinc: l space 所以 長度最短的least square solution 等於
→ pyramidinc: 求 least square solution 減掉他在null space的投影
→ pyramidinc: 這又相當於直接投影在row space 上
推 mistel: 樓上p大說的應該不是general solution而是homogeneous so
→ mistel: lution？
推 pyramidinc: 我發現我寫的就跟樓主一樣意思 哈哈 可是least square
→ pyramidinc:  solution 就是屬於Ax=b 的行空間 所以算的方式就跟算
→ pyramidinc: minimal solution 一樣不是嗎
→ pyramidinc: 哦對 我說錯了 抱歉
→ pyramidinc: 我的想法是 particular solution + homogenous soluti
→ pyramidinc: on 也可以寫成 particular solution - homogeneous so
→ pyramidinc: lution 這樣子算shortest 的意思就是算 particular so
→ pyramidinc: lution 跟null space 的距離 所以就是用 least square
→ pyramidinc:  solution - 在null space的投影 這樣就等於直投影在r
→ pyramidinc: ow space