[問題] 請教PRESS Stat degeneration問題

[AmigoSafin ()]

大家好，

想跟各位前輩請教迴歸問題。

在criterion -based techniques

我們可以用adj.R^2, AIC, BIC, LOOCV,以及Mallow's CP
去選擇最適model.

當我們plot AIC, BIC versus numbers of variables in the model時
兩者都會給我們一個V-shape
而那個angle就是最適模型

我遇到的問題是
有一quintic function:
f(x)=1-(1/2)x+x^2-2x^3+3x^5
let n=400 be the sample size,
and sigma=(0.3)^2
and let's generate
y_i=f(x_i)+epsilon_i
where epsilon_i ~ N(0, sigma^2)

Let's use polynomial regression to try and recover
the original function f(x) from the data.
For our purpose, let's start with a polynomial
of degree 25.

以上這個data畫出來的BIC在number of predictors=5時有明顯的V-shape,
但AIC及PRESS statistics畫出的圖中
兩者都在n=5時degenerate

想請教各位高手
會如此的原因是因為quintic function的特性嗎？
如何解釋為佳？

謝謝大家了！



--

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 74.69.83.135 (美國)
※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1565058464.A.FDD.html
→ andrew43: 你是指AIC/PRESS對冗餘的模型懲罰比較不夠重嗎？
→ AmigoSafin: 應該不是 因為一班情況下AIC BIC PRESS都會找到最適
→ AmigoSafin: 也就是會有V-shape in plots所以是否是AIC PRESS
→ AmigoSafin: 不converge in this guintic function?
→ AmigoSafin: 不converge是因為對新增一變數的懲罰不夠重嗎?
→ andrew43: 看資料吧。x模擬時有給特定分配嗎
→ AmigoSafin: 沒有
→ AmigoSafin: 所以我覺得應該是這個function的特性不converge吧
→ andrew43: 結果會受到x的影響，例如x range很小就可能fit不好
→ AmigoSafin: 了解 謝謝A大