[問題] 最小平方法為何要先「平方」

[azzc1031 (azzc1031)]

最小平方法（Least Squares)的概念是：

我們想找到一條直線

使得所有資料點與這條直線的距離最短

如下圖所示，我們希望綠色線的距離最短：
https://i.imgur.com/ccaENMc.jpg

然後將它平方，我們希望正方形面積加起來最小：
https://i.imgur.com/kEyXFlT.jpg

我的疑問是，為何要先將殘差平方後再加總呢？照理說，找到殘差加總為0的線就是最佳
配適線了吧？

麻煩大神解惑!

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.12.4.158 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1565170280.A.3EA.html
※ 編輯: azzc1031 (101.12.4.158 臺灣), 08/07/2019 17:32:00
※ 編輯: azzc1031 (101.12.4.158 臺灣), 08/07/2019 17:34:15
→ celestialgod: 殘差有正有負 取絕對值不好微分 所以取平方
推 aikotoba: 絕對值不好計算以及推導
推 j401f2: 先平方是因為平面座標兩點的距離是平方開根號，但根號在
→ j401f2: 統計上不好處理，所以取其平方和作為距離的總和；如果用和
→ j401f2: 的平方就意義上完全失去距離的概念。
→ j401f2: 跟正方形面積毫無關係
→ myty383: 因為殘差和最小(不平方)等價於殘差和要是零，這個時候你
→ myty383: 怎麼找殘差和最小？可以說是模型結構本身造成的，也可以
→ myty383: 說是直接求殘差和最小會造成一些資訊喪失，個人淺見
→ hsnuyi: ... "距離"的定義有很多種...
推 youngsam: 你也可以用絕對值（即距離）但數學上不好操作（其實現在
→ youngsam: 電腦都可以做了）
→ azzc1031: (我是原po)，關於正方形面積的概念，我是從MIT的開放課
→ azzc1031: 程得來的：
→ azzc1031:  https://i.imgur.com/PdODdtU.jpg
→ azzc1031:  https://i.imgur.com/GcYJamT.jpg
→ recorriendo: 你的直線要決定截距和斜率 若只有"殘差加總為0"一個
→ recorriendo: 限制式就有無限多組解
→ recorriendo: 要求"殘差絕對值和最小"在這個年代有電腦其實是很好
→ recorriendo: 解 紙筆年代只能解"平方和最小"
→ recorriendo: 紙筆年代的最小平方法大家沿用而已 並沒有一定要用它
→ recorriendo: 的道理 你要絕對值和最小也可以 反正電腦很容易解
→ recorriendo: 當然最小平方法有理論上的一些優點 例如給出BLUE
→ recorriendo: 也有缺點 例如outlier對迴歸的影響特別大
推 raiderho: 若採用最小化絕對值就是分位數回歸，數學上不好處理，但
→ raiderho: 也非常有用，特點是不會被極端值影響。另外，平方殘差不
→ raiderho: 只是因為好處理，可以google「誤差論與最小平方法」
推 backprog: 容忍小的誤差，懲罰大的誤差
推 widlar: 這是人為設計出來的一個函數，使函數越小則越接近最佳解，
→ widlar: 所以不一定要用平方，譬如用四次方或絕對值也有一樣的效果
→ widlar: ，但應用上會選擇比較好用的，所以就很常看到用平方來處理
→ widlar: 。
推 changeengjap: 1.什麼都不處理正負會相消 就沒啥意義了
→ changeengjap: 2.絕對值跟平方的功能差不多 就是把負號弄不見
→ changeengjap: 3.絕對值在數學處理上就是很煩,平方好操作很多
→ changeengjap: 你自己想下, 大一或大二教絕對值, 然後在那邊推導,
→ changeengjap: 應該無人聽有,但用平方,微分一下結果就出來了,
→ changeengjap: 還可以複習下Cramers' Rule, 教學效果好太多
→ changeengjap: 另外就是實務上也已經大多用最小平方法
→ changeengjap: 你用其他的也不是說不行,但現在看起來會不太必要
推 raiderho: 分位數回歸蠻有用的唷
推 VIATOR: 推recorriendo