[線代] 最小平方法與對稱方陣的問題

[j0958322080 (Tidus)]

在解最小平方法問題 Ax ~ b 時，(A 屬於 M       (R))
                                        m x n

                       T         T
最後得到的解就是 x = (A  * A) * A  b，

                           T          T
想問一下為什麼不能直接從 (A  * A)x = A  b 解，

這樣不就只是一個聯立方程組而已嗎??

我看在計算數學中解這問題通常會使用 QR 分解，

          T    -1
其中 Q = Q  = Q  ，所以把 A 拆解成 QR 矩陣的乘積，可得

           T          T           T           T       T          T
         (A  * A)x = A  b --> (QR)  QRx = (QR)  b -->R  Rx = (QR)  b



另外想問對於對角線元素與非對角線元素不相等的任意方陣是否皆為 full rank??

意思是說 A^T * A 為一個對稱方陣，所以 a_ij = a_ji，

我現在另外再加上一個條件就是 a_ii =/= a_ij，

那麼是否可以保證 A^T * A 一定存在反矩陣??

因為最小平方法的問題若是 fit 的次數太高或是項數太多，

很難直接去檢查 rank(A) = n (m > n)，所以才會有這問題產生。

--
！！！！！！！！！！！！！簽名檔破530000點擊率啦！！！！！！！！！！！！！！！
Fw: [問卦] 電影：決勝21點的機率問題  https://goo.gl/2BpbB7  #1MfN3FgZ (joke)
→ yeebon: chx64的1/2悖論真的很經典呢
！！！！！！！！！！！！！！簽名檔破530000點擊率啦！！！！！！！！！！！！！！

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 27.247.167.2
※ 文章網址: https://www.ptt.cc/bbs/Math/M.1514803821.A.DDC.html
→ LiamIssac   : A'TA 一定是對稱可逆的方陣
→ LiamIssac   : 這問題我以前也想過 也證明過 結果我老闆說 這不是
→ LiamIssac   : 早就知道的結果嗎 (當然前提A要full row rank)
→ j0958322080 : 請問樓上可分享一下證明方式嗎??
→ LiamIssac   : 當初是寫在paper的appendix但被老闆點通之後 就刪了
→ LiamIssac   :  sorry 我記得一般的matrix theory(horn and johnso
→ LiamIssac   : n)應該都有 不然就是看看Golub的書
推 LPH66       : 應該有點相關:
→ LPH66       : http://tinyurl.com/y9b47hvo
→ annboy      : Friedberg書上有相關的定理，如果rank(A) != n
→ annboy      : 只能解(A*A)x=A*b來求x。就我所知的定理，A*A一定是
→ annboy      : 半正定(positive semidefinite)，那麼也是自伴隨
→ annboy      : (self-adjoint)，"但並不保證A*A可逆"。
→ annboy      : 第一個問題答案是YES，第二個問題我就不知道了
推 yueayase    : 從譜定理看看?
推 as7218      : 直接解 (A^T*A)x = A^T b 當然可以，但是不好
→ as7218      : 因為數值穩定度比直接QR解generalized inverse還差
→ j0958322080 : QR分解最後是解聯立方程還是也是要算反矩陣??