作者cwhalf (c-w)
看板Math
標題Re: [線代] projection matrix 一點不懂
時間Thu Apr 24 19:56:58 2014
喔 我突然懂了.....
抱歉 請容我重新 formulate 一下：
Vectors a1 and a2 are the basis of a plane.
The plane of a1 and a2 equals to the column space of A.
That is, the first column in the matrix A is a1, and the second column
of it is a2.
There is another vector called b.
I want to know the projection (called p) of b on this plane.
Of course if b is in the column space of A (i.e. b equals to the
linear combinations of a1 and a2), p=b.
But unfortunately b is not in this column space.
到此為止我的理解應該都沒錯吧？
但目前為止這個 A 的 dimension = 2
也就是它是一個二維的平面
經由一連串的公式推導可以得出 p=A*(AtA)^(-1)*At*b=P*b
[這個大寫的 P 叫做 projection matrix; At = transpose of A;
^(-1) = inverse; * = multiplication]
這個時候 這個 MIT 的老師說除非這種特殊情況：
If A is a square and invertible matrix, then P equals to the identify matrix.
Moreover, b is already in the column space of A, and the projection of b
into the whole space of A is actually b itself.
這是因為當 A 是 symmetric and invertible 時
他的 size 必定是 n x n
且這 n 個 columns 是 independent 的
它的 dimension 就變成 n 而非原來的 2 了
所以 b 當然就是 A 的一個 column space
b 在 A 這個 space 的 p 就是 b 本身
而 P 就是 identity matrix 囉
我想應該這樣沒錯了吧？
PS. 其實我只是想要了解 eigenvalue/vector 以及 PCA
有需要懂這些 space 到這麼多嗎?
Thanks a lot!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.121.113
※ 文章網址: http://www.ptt.cc/bbs/Math/M.1398340621.A.5CE.html
→ cwhalf :我忘了說 如果 A 是 symmetric and invertible 04/24 20:01
→ cwhalf :數學上 A*(AtA)^(-1)*At 就會變成 I 04/24 20:01
推 loveann :線性代數不談space,那要談什麼？ 04/24 21:14
推 kangoroo :PCA會關乎到降維 了解空間的概念是有幫助的 04/24 21:26
→ cwhalf :我是說 我的目的是要懂PCA 但我不知道是否須懂很多sp 04/24 23:07
→ cwhalf :很多space的概念 04/24 23:10
→ yhliu :PCA 是資料的正交變換後去掉一些維度, 相當於找出一 04/26 00:37
→ yhliu :個子空間, 把資料投影到該子空間. 04/26 00:37
→ yhliu :只要 A 是可逆方陣, 就有 A(A'A)^{-1}A' = I, 不需 04/26 00:40
→ yhliu :symmetric 的條件. 04/26 00:40