Re: [線代] 最小平方法與對稱方陣的問題

[yhliu (老怪物)]

※ 引述《j0958322080 (Tidus)》之銘言：
: 在解最小平方法問題 Ax ~ b 時，(A 屬於 M       (R))
:                                         m x n
:                        T         T
: 最後得到的解就是 x = (A  * A) * A  b，
:                            T          T
: 想問一下為什麼不能直接從 (A  * A)x = A  b 解，
: 這樣不就只是一個聯立方程組而已嗎??

若A是full column rank, 則 A^TA 可逆, 則

(A^TA)x = A^Tb 的解就是 x = (A^TA)^{-1}A^Tb
否則 A^TA 的 inverse 要用 generalized inverse 取代,
那就是無窮多組 \最小平方解.


: 我看在計算數學中解這問題通常會使用 QR 分解，
:           T    -1
: 其中 Q = Q  = Q  ，所以把 A 拆解成 QR 矩陣的乘積，可得
:            T          T           T           T       T          T
:          (A  * A)x = A  b --> (QR)  QRx = (QR)  b -->R  Rx = (QR)  b

這是為了逃避 A^TA 之 inverse 的計算.
也就是說, 如果有了簡單的 A = QR 的分解程序,
解 R^T(Rx) = A^Tb 比解 (A^TA)x = A^Tb 顯然較簡單.



: 另外想問對於對角線元素與非對角線元素不相等的任意方陣是否皆為 full rank??
: 意思是說 A^T * A 為一個對稱方陣，所以 a_ij = a_ji，
: 我現在另外再加上一個條件就是 a_ii =/= a_ij，
: 那麼是否可以保證 A^T * A 一定存在反矩陣??
: 因為最小平方法的問題若是 fit 的次數太高或是項數太多，
: 很難直接去檢查 rank(A) = n (m > n)，所以才會有這問題產生。
A 是實矩陣. 設A^TA = [c_{ij}], 則恆有 (c_{ij})^2≦c_{ii}c_{jj}
假設  c_{ii} 是常數,那就是 |c_{ij}|≦c_{ii}. 等式僅當
A 的第 i, j column 成比例(c_{ii}=c_{jj} 就是兩個 columns
完全相同) 或負比例 (即相關係數+1或-1)時成立.

然而, 只要  A 的某個 column 是其他 column(s) 的線性組合,
A 就不是 full column rank, A^TA 也就不可逆.

也就是說, 存在非對角線元素都比非對角線元素大的對稱矩陣是
不可逆的.

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.246.80.233
※ 文章網址: https://www.ptt.cc/bbs/Math/M.1514854132.A.B92.html
推 annboy      : 想請教一下 (c_{ij})^2≦c_{ii}c_{jj} 這行怎麼來的
→ annboy      : 是第i,j行作Cauchy-Schwarz ineq. 的結果嗎?
推 yueayase    : 原先我還想考慮譜分解的特徵值看看XD
推 j0958322080 : 感謝，最近想用程式解這問題，找到的資料應該是QR
→ j0958322080 : 分解CP值最高，SVD分解最穩定
→ j0958322080 : QR分解最後是解聯立方程還是也是要算反矩陣??
→ yhliu       : 回第一列:" 就是 C-S ineq.
→ yhliu       : 用 QR 分解, 最後就不用算反矩陣了.
→ yhliu       : R 和 R^T 都是三角矩陣, 因此解 R^Ty = c 可逐一解
→ yhliu       : 出 y, 再解 Rx = y 逐一解出 x.