[線代] 迴歸的hatmatrix semipositive

[tokyo291 (工口工口)]

作者: tokyo291 (工口工口) 看板: Grad-ProbAsk
標題: [理工] 證明semipositive definite
時間: Wed Feb  6 00:51:00 2013


X=[X1 X2 ..... Xp] (n*p matrix) n>p

1_n=[1 1 1 1 ... 1]' (n*1 vector)

X1=1_n  X2 ... Xp are all n*1 vectors

H=X[(X'X)^-1]X'

1_n=[1 1 1 1 ... 1]' (n*1 vector)

1.proof that H-(1_n)*(1_n)'/n is semi positive definite

這一題我的證法是用迴歸去想

SSR=(yhat-ybar)'*(yhat-ybar)=y'*(-(1_n)*(1_n)'/n)y>=0

2.proof that diagonal elements of H ,h_i and h_i>=1/n

這一題我也是用迴歸去想h_i=1/n+(x_i-xbar)^2/Sxx

想請問如果要直接用線代的方法證該如何證呢?



--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 61.227.244.105
→ yhliu       :1. X'X 若可逆則為 positive, 其逆亦是.
→ yhliu       :由 semi-positive definite 的定義, 易證 H 是.
→ yhliu       :看錯了...原來是要證 H-11'/n=H-11'/(1'1) 為 s.p.d.
→ yhliu       :I = (I-H)+(H-11'/n)+11'/n, 11'/n 及 I-H 都是冪等,
→ yhliu       :冪等對稱矩陣都是 non-negative definite.
→ yhliu       :2. 用簡單直線迴歸的結論無法證明複迴歸的定理.
→ yhliu       :因 H-11'/n 為 s.p.d., 故 a'(H-11'/n)a>=0
→ yhliu       :故 a'Ha>=a'11'a/n. 取 a=e_i, h_i = e_i'He_i>=1/n
→ tokyo291    :原來如此!謝謝老師