[其他] 最小方差解

[saltlake (SaltLake)]

   對線性系統求解 A*x = b可能有唯一解 無解或無限多解

 無解的時候 可以用最小平方法(least squares method)

 求最佳近似解

 無限多解的時候也可以用最小平方法求最小範數(Norm)的

 最佳近似解

   以上各解的推導可以從定率性(deterministic)或統計法

 去推導 問題在於不知如何從統計觀點去推導以上各解

 有甚麼書或文章有容易了解的推導嗎?

  還是有網友能秀一下?

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.44.249.170
※ 文章網址: https://www.ptt.cc/bbs/Math/M.1504476647.A.951.html
推 alan23273850: 我記得線性代數聖經本第4版的 Thm6.12 是證明最小平
→ alan23273850: 方差解，Thm6.13 是證明最小範數解，不知這樣可不可
→ alan23273850: 以？完全是從線性代數切入，跟統計無關。
→ alan23273850: 不過既然是聖經本，就是著重正確性，故未必好理解
  聖經書名能寫一下嗎?

  所以想了解線性系統解的統計觀點

  因為聽說可以探討各個變數的變異數差異對解的影響?

  雖然物理問題可以轉成線性方程組

  但是物理量測總有誤差

  也許要從統計觀點去探討比較"真"?
※ 編輯: saltlake (114.44.249.170), 09/04/2017 15:03:04
→ alan23273850: https://goo.gl/p3WrBH 網路上有pdf載點，但似乎不
→ alan23273850: 太好找，建議到圖書館借紙本書比較好通篇閱讀，通常
→ alan23273850: 一個定理都是由前面許多lemma堆砌起來的
→ alan23273850: 我這邊有pdf檔，真的找不到可以再寄我站內信
→ alan23273850: 不過完全沒有統計喔，如果要追求正確性的話，可能要
→ alan23273850: 把整本線性代數先有個概念，才會看懂證明
→ alan23273850: https://imgur.com/w7oR8nS.jpg
→ alan23273850: https://imgur.com/ulT0Eca.jpg
→ alan23273850: https://imgur.com/k56Fjew.jpg
→ alan23273850: https://imgur.com/IZErVSw.jpg
→ alan23273850: 後來看了一下您的回覆，我覺得這本書可能沒有Orz
推 as7218      : 統計觀點的話...線性迴歸？
  嗯 似乎偏那方面 但是是多組聯立
※ 編輯: saltlake (114.44.249.170), 09/04/2017 17:29:19
推 Uniqueness  : Regression  analysis, seber
推 kennings    : 對啊不就 linear regression 而已?
推 kennings    : 假設 regression line 是 y= A x + b
→ kennings    : 對每一點和此線之差距可由 di = yi - Axi - b
→ kennings    : (i 為下標, i= 1~n)
→ kennings    : 取 (di)平方, 對 i=1~n 作和, F= sigma(di^2)
→ kennings    : 然後取 partial F/partial A = 0, 且 partial F/par
→ kennings    : tial b = 0, 就可以導得迴歸直線斜率 A, 及截距 b
→ kennings    : 的公式, 這種作法就只用到直觀幾何以及偏微分
推 alan23273850: 結果我完全搞錯方向了.... 線代課本證的是唯一性&存
→ alan23273850: 在性
→ alan23273850: 肯寧大大是對的
推 as7218      : 也不能說搞錯方向...確實線代+一點微積分就能解釋了