[理工] 線代eigenvector

[tokyo291 (工口工口)]

考慮資料{X1,..,Xn} 其中 Xi屬於R^2,令S=Σ(Xi-Xbar)(Xi-Xbar)'  ':transpose
                                      i=1
S為{X1,...,Xn}之樣本共變異數矩陣
      n
Xbar=ΣXi/n 為樣本平均數假設λ1>λ2>0為S的eigenvalue
     i=1

定義γ1為一單位長度向量(γ1'γ1=1)並且極大化γ1'Sγ1

驗證γ1為S的eigenvector 且其相對應的eigenvalue為λ1

定義γ2為令一單位長度向量且與γ1正交,若γ2極大化γ2'Sγ2

驗證γ2為S的eigenvector 且其相對應的eigenvalue為λ2

定義Γ=[γ1,γ2]以及Ui=Γ'Xi,i=1,...,n

驗證{U1,...,Un}的樣本共變異數矩陣為一對角矩陣,且其對角線的元素為λ1 λ2

--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 36.239.250.89
→ ILzi:這篇總共是要問三個證明?
→ tokyo291:是的，不好意思沒標題號><
→ doom8199:google 一下 PCA 就有很多證明了.或是參考#1Gn1lkxN 前面
→ tokyo291:原來是跟PCA有關!當初只一直往迴歸跟線代的方向去想...
推 doom8199:PCA 也能用機率模型解讀. 考慮 t = Wx + u + e , e~N()
→ doom8199:根據 observation {x1,..xn} 取 MLE 即可得此相同結論
→ doom8199:原po往線代方向去想是對的，因為它對此只是分析問題工具
→ doom8199:regression 或其它知識也不過是經由數學分析後的各種結果