[問題] GLM

[b218h (Gordon)]

請教一下 假設我有組 data set {(x_i,y_i,i=1,2,...,20}

其中 y~bernoulli (p_i),  logit(p_i)＝b_0 + b_1 x_i, where x_i~N(0,1)

我 fit 一個 glm, logistic regression 得到 b_0 和 b_1 的估計值和 standard errors.



接著 我做 500 次 boot strap, 每一個 simulation 我都 fit 一次 glm, 得到 b_0

and b_1 的估計值，我用這組 boot strap standard errors (i.e., sample standard

errors) 來跟上面比較，發現差很多...


我不知道是為什麼. glm 裡預設求standard error的方法是用 MLE and fisher information

如果它估計 standard errors 的方法是好的 為什麼 boot strap 結果差蠻多的


                                  b_0          b_1
                 Default SE     0.61499     1.10264
                 Bootstrap SE  33.17491   148.1905




--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 128.189.206.177
※ 編輯: b218h           來自: 128.189.206.177      (11/21 04:50)
→ ljta:你算的是"估計值的bootstrap std" 還是 "抽樣誤差" ?
→ b218h:sd(b*_1,b*_2,...,b*_B)
推 pran:一樓是統計達人，資料分析高手
→ yhliu:軟體給你的是大樣本理論下的估計 s.e.(b_i), 並非 exact s.e
→ yhliu:另一方面, bootstrap 估計 se(b_i) 用 500次是不是夠多, 換
→ yhliu:言之, se(b_i) by bootstrap 本身的誤差也要考慮.
→ yhliu:又, 如果你所列數據是軟體結果與 bootstrap 結果比較, 那差
→ yhliu:距確實太離譜, 檢查一下 bootstrap 有沒有做錯吧!
→ yhliu:如果軟體沒算錯(是否收斂? 500次 bootstrap樣本結果呢?)
→ yhliu:那麼 n=20 太小, 結果不可信, 就是唯一能說的了!
→ b218h:我知道哪裡有問題了
→ b218h:原因出在boot strap sample 裡有些是 "almost separable"
→ b218h:少數是"all 0's or all 1's"
→ b218h:我把那些丟掉後兩個就差不多了:)
→ b218h:謝謝 yhliu
→ yhliu:其實, 會產生 almost separable 與 all 0's, all 1's 等情形
→ yhliu:就是 n=20 太小的證據. 單純地把它們拿掉, 並不算正確.
→ clickhere:20太小了. GLM給得s.e.也未必可信.
→ clickhere:是bootstrap, 不是boot strap.
→ sneak: 軟體給你的是大樣本理論 http://yofuk.com