看板 DataScience 關於我們 聯絡資訊
如題 請教一下 linear regression的model在feature選用上有可能 只用上feature的 x ** 2項 而不用x項效果會更好嗎? 因為我看宏毅老師的投影片好像都是 先用 x , 再加用x ** 2, 再加 x *** 3, ... 直到overfitting發生 那有可能是只用x ** 2, 而不用x 會效果更好嗎? 還是說overfitting只會發生在高次方項? 因為我想到若x存在負數,那只選用x**2當fearture而不用x也許會比較好? 先謝謝各位願意看完我冗長的問題 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.136.51.242 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1521828238.A.606.html
goldflower: 你是想說y存在負數嗎? 不然x負數好像沒啥問題 03/24 02:27
hsnuyi: 動能 Ek = 1/2*mv^2, 你有Ek與v 你覺得這樣要如何fit? 03/24 02:27
goldflower: 如果是的話其實你的bias就會調整這邊了 03/24 02:27
goldflower: 另外就是你的方程式畫出來會怪怪的 03/24 02:28
goldflower: 喔喔沒事樓上那句當我沒說 03/24 02:29
goldflower: 應該是說 你如果x^2就很棒 那就搭配bias解就好 03/24 02:33
goldflower: 只不過你多放一個x進去 要是他沒啥貢獻他係數就會小 03/24 02:33
goldflower: 所以沒必要特別把較不複雜的basis function拿掉 03/24 02:34
PyTorch: 謝謝樓上各位,想再問沒啥貢獻的不會因此overfitting嗎? 03/27 19:27
goldflower: 你可以想像一下 你先畫一個複雜到fit所有點的曲線 03/27 22:42
goldflower: 接下來你把一次項加進去 你會很自然地發現他沒辦法 03/27 22:42
goldflower: 對overfitting這件事貢獻太多 不過這只是一個想法 03/27 22:43
goldflower: 如果要用數學去證明這件事我還真不會QQ" 03/27 22:43