[線代] 最小平方法與迴歸直線及相關係數

[alamabarry (.............)]

請教一個問題

高中所學的迴歸直線求法為點與直線的Y值距離平方和的最小值

可推得正規化後的迴歸直線斜率為相關係數


若是改用X的距離平方和最小值

可推得正規化後的迴規直線斜率為相關係數倒數


我嘗試的去推點到直線的最短距離平方和的最小值

所求得結果似乎是斜率為＋1,-1時有最小值

想請教這三種方法意義上有沒有不同用處

看起來第三種方法以點到直線最短距離似乎比較貼近迴歸直線的感覺

為何一般常用的要以Y值來計算呢？


另一個問題

若散佈圖在同一水平線上或是鉛直線上

我們可以解讀為X的變化與Y無關或是Y的變化與X無關,因此相關係數很直觀的為0

但由相關係數的公式代入會有0/0的情形

這麼部份是另外去定義的嗎？

感謝

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.38.240.142
※ 文章網址: https://www.ptt.cc/bbs/Math/M.1458750943.A.7FA.html
→ recorriendo : 所有的統計方法都有假設 把資料視為假設的隨機模型
→ recorriendo : 的其中一個sample path 回歸就是估計該模型的參數
→ recorriendo : 一般即是假設的線性模型是 y=xβ+ε ε~N(0,σ)
→ recorriendo : 那麼最小平方法算出來的就是對此模型的ML估計
→ recorriendo : 如果用X距離來做最小平方 算出來的就是 x=yβ+ε
→ recorriendo : ε~N(0,σ) 這個模型下的ML估計