[問題] glm deviance 解讀問題請益

[locka (locka)]

大家好，第一次在貴版發言，不符規定再請告知><"

最近學到 glm，想要請教有關解讀 glm 中 deviance 以及 degree of freedom 的問題。

=============以下正文開始===========

例如說我有一個 model 叫 glm.1，其方程式為　logit(y)~x

summary report:
Null deviance     為 45.33 on 17 degrees of freedom
Residual deviance 為 12.06 on 16 degrees of freedom

比較以下兩個 test (皆以 R 程式碼呈現)：

1. 想要檢定此 model 好不好 -- Deviance Goodness-of-fit test
直接代入 glm.1 的 Residual deviance & df (12.06 & 16)：

> 1 - pchisq(glm.1$deviance, glm.1$df.residual)
 [1] 0.7398392

因為不能拒絕 h0(這個 model 是好的)，所以結論是
There's no evidence that the model is inadequent.

2. 想要比較這個 model，是否比 null model 好(更顯著) -- Drop-in-deviance test
代入兩者 deviance & df 的差：

> 1 - pchsq(glm.1$null.deviance-glm.1$deviance, df=1)
 [1] 8.021055e-09

此時拒絕 h0(兩個 model 沒差)，代表加入 x 變數的確比 null model 更有解釋力。



想要問的問題是：

兩個不同的 test 卻以用同樣的方式檢定，其各自的意義要怎麼解讀才正確？

==========以下是我自己的想法==========

我自己的想法是，1-pchisq(mean,df) 的意思是用來檢查，
在給定 mean=12.06 & df=16 的情況下，該樣本服從卡方分配的機率。

所以第一個 test 做出來結果代表 deviance 這個檢定量服從卡方分配的機率很大，
又因為 glm 中假設 deviance 在大樣本情況下會服從卡方分配，
所以認為這個 model 是 ok 的。

延續以上的想法到第二個test，把兩個 model 的 deviance & df 的差代入
變成討論當 mean=33.27(45.33-12.06), df=1(17-16)時，
這樣的樣本會服從卡方分配的機率。

那為什麼算出來機率很小，代表意義卻是 glm.1 的 x 很顯著呢???

到這裡就卡住了......好像說不通....

會不會是我一開始的想法就有問題了呢？


已經卡關幾天了，自己一直想不通，上來po文懇請指點、互相討論！
感謝耐心看完，謝謝大家~

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.140.122.96
※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1450761462.A.146.html
→ andrew43: 你把deviance想像成殘差，越大就是模型越不準。
→ andrew43: 所以x可以讓deviance明顯變小，即所謂顯著.
→ andrew43: 另外也注意一下該p-value所對應的H0是什麼。
謝謝andrew大!!經提點我有發現到drop-in-deviance test的H0是:兩個model沒差
所以當p-value很小時表示拒絕H0 (也就是加入x變數的確是有解釋力的)
只是我不了解的點是,為什麼在數學上,drop-in-deviance跟goodness-of-fit兩種檢定
會是用同樣的算法,總覺得應該不是巧合...(看來我還需要再多啃一點書 哈哈)
※ 編輯: locka (114.136.215.224), 12/24/2015 00:20:07
→ andrew43: 可以參考維基百科 Likelihood-ratio test 條目。
→ andrew43: 至於怎麼證明它服從卡方分配，就有請高手指點了。
→ celestialgod: 維基 Distribution: Wilks's theorem 可以看看
→ celestialgod: 根據該理論，likelihood ratio會漸進卡方
→ celestialgod: 原PO要注意一下 是"漸進"卡方分配
→ celestialgod: A大說 服從卡方分配這個詞用的比較不恰當一點XD
→ andrew43: 多謝指點。
→ locka: 謝謝c大的補充!我有去找來看了,了解是用asymptotically的方
→ locka: 式去逼近卡方分配。不過我主要不解的是drop in deviance te
→ locka: st的部分，拿deciance的差去test卡方分配的目的是什麼呢？
→ celestialgod: 目的是用來比較兩模型的配適程度是否有差異
→ celestialgod: 一般你model的deviance除上null model的deviance
→ celestialgod: 應該不是差...這點要修正一下XD
→ celestialgod: 不過相同假設的兩個模型之deviance也可以這樣來作
→ celestialgod: 檢定