[線代] 最小平方法求解問題

[FrederickLiu (Frederick)]

最小平方法求解觀念問題
(線性代數相關)
小弟不才我在跑matlab的時候知道有個方法可以快速求出近似解
matlab中的反除\ ，想知道其理看了LARSON(下圖)的書
他的推倒是說其投影像量跟原本向量相減的向量是最短的向量，因為垂直距離距離為最短
，固可求出最近似的解
想問的是　為什麼這個最近似的解是到每條線的距離"平方"和最短，而不是到每條線的距
離
最短，而是有個平方呢？
實際跑個程式計算也發現最小平方的解並不會＝最小距離的解，求發問　嗚嗚
https://i.imgur.com/pG4B6kl.jpg

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.114.43.115
※ 文章網址: https://www.ptt.cc/bbs/Math/M.1512555527.A.40F.html
※ 編輯: FrederickLiu (140.114.43.115), 12/06/2017 18:23:44
→ a21802      : 這估狗很多東西啊
→ FrederickLiu: ㄜ我有找，可是照這個推到應該是距離的一次方合不是
→ FrederickLiu: 嗎
推 j0958322080 : 因為有正有負阿，平方才會都是正
推 LPH66       : 印象中好像有一個跟絕對值函數性質有關的原因
→ LPH66       : 就是絕對值函數在 0 不可微
→ LPH66       : 如果單問距離和的話要用絕對值函數而非平方函數
推 LiamIssac   : 如果不平方 就要取絕對值 那就變robust regression
→ LiamIssac   :  主要是想消除outlier的影響
→ LPH66       : 我的印象是這個不可微好像會不太好做事的樣子(?)
推 LiamIssac   : 類似的問題 可參考ridge跟LASSO 或是更一般化的brid
→ LiamIssac   : ge regression (lp norm for p in (0, 1))
→ LiamIssac   : 喔 不會 加絕對值可以轉化成可解的線性規劃問題 sim
→ LiamIssac   : plez method或內點法 都是演算法
推 j0958322080 : 最小平方法也可以從幾何的觀點得到，不一定要微分
→ j0958322080 : 如po圖中的示意圖，絕對值應該也可以
→ FrederickLiu: 首先非常感謝各位精闢的解答，讓我知道自己還有很多
→ FrederickLiu: 東西需要學習。我本身並非數學相關科系，所以你們
→ FrederickLiu: 說的一些專有名詞我可能還要想想，目前具備的知識
→ FrederickLiu: 有高中數學到大學微積分以及線性代數基礎，最主要
→ FrederickLiu: 的問題是看課本的幾何推倒有種應該是距離一次方和是
→ FrederickLiu: 最短，而我發現自己很蠢的是距離在向量的算法本來就
→ FrederickLiu: 有平方，所以每個ax-b的平方相加會最小，非常謝謝各
→ FrederickLiu: 位回答，不過還想再問一個問題，如果要求每個ax-b
→ FrederickLiu: 的絕對值相加會最小的算法，要怎麼算呢？
→ FrederickLiu: 特別感謝liam的回答，剛爬文了一下，如果要求出誤差
→ FrederickLiu: 最小的解就需要他所說的知識貌，再次謝謝各位
推 Vulpix      : 可能情況：x坐標代表身高、y坐標代表體重，那這張圖
→ Vulpix      : 上的「距離」到底是什麼東西呢？
→ Vulpix      : 1kgw應該當成1m還是1cm？
推 LiamIssac   : @Vulpix 在回歸裡面基本不太討論距離的實質意義 而
→ LiamIssac   : 是求出係數(beta)之後 討論改變一單位的x，y的相對
→ LiamIssac   : 變化。如果單位不一致 可以考慮standardized regres
→ LiamIssac   : sion
推 LiamIssac   : @原po 要求解robust regression可以參考dimension l
→ LiamIssac   : ifting method (一般是講parameterization method)
→ LiamIssac   :  便理論的線性規劃的書大概都會講
推 annboy      : 在內積向量空間中，範數(或說長度)定義是向量自己
→ annboy      : 跟自己內積再開根號，所以開根號後的值最小，平方
→ annboy      : 後也會最小。我個人是猜測程式化的過程有誤。
推 DIDIMIN     : 我們要看的是理論值和實際值的差距，所以不是看
→ DIDIMIN     : 點到線的垂直距離
推 recorriendo : 推文也扯太遠 單就這個示意圖說 就是畢氏定理有平方