[問題] 想選擇特定變數做predict

[lovesnow1990 (冰心之月)]

[問題類型]:

程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來)

[軟體熟悉度]:

入門(寫過其他程式，只是對語法不熟悉)

[問題敘述]:

最近在跑實驗資料，想要做羅吉斯回歸

跑出結果後希望能只選擇Pvalue<0.05的自變數做為model
然後做predict

請問我要怎麼做呢?
因為現在只會把包含所有自變數的model丟下去predict

[程式範例]:

http://ideone.com/e.js/QzUNJQ

[關鍵字]:

predict choose variable

--
如果我們要把磁鐵棒放進線圈，                        　
線圈會說「不!!不要過來!!」而發出阻力不讓磁鐵棒靠近。
但是如果我們要把放進去的磁鐵棒從線圈拿走，　　　　　　　　      「傲嬌是一種
線圈反而會說「我…我又沒有叫你走!!」而發出阻力不讓磁鐵棒離開= =　　自然現象」
這種現象不就是傲嬌嗎！！！　　　　　　　　　　　　　　　　　  新科科人雜誌
所以傲嬌這東西根本不是新梗，19世紀就有科學家發現傲嬌了！　　　　　／民明書房

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.119.74.75
※ 文章網址: http://www.ptt.cc/bbs/R_Language/M.1404116519.A.82D.html
→ andrew43:題外話，不要一次刪去或加入超過一個變數。
→ andrew43:你可以用 step() 自動化這個動作，但我還是習慣手動選擇
像是向後/前選取變數那樣一個變數一個變數刪嘛
→ andrew43:對啊。相關的function還有add1()和drop1()
我剛剛試著用step(model1,direction="backward")跑
結果他現在似乎跑不完了 囧
我自變數有139筆
樣本數是大約5000筆

我把他停掉之後他似乎一直跑出下面這行的warning
glm.fit: fitted probabilities numerically 0 or 1 occurred

但是我不太懂他的意思是什麼...
→ andrew43:我不知道，但先檢查出是哪一步出問題看看。
推 Wush978:看起來有linear separable的問題
線性可分是不是就代表著樣本(OR變數)之間有相依性存在呢
→ andrew43:不是，而是指自變數中有條線可以完美地區別依變數的值。
所以是指自變數中 某些自變數的線性組合就可以完美的區別依變數囉
聽起來好像不是什麼壞事(感覺我有點笨...)
※ 編輯: lovesnow1990 (140.119.74.75), 06/30/2014 21:01:12
推 Wush978:會導致模型收斂出問題
→ Wush978:logit會把0, 1, 變換到無限大
→ Wush978:所以你fit出來的模型參數會很怪
→ andrew43:沒錯。也謝謝樓上補充。
http://pages.cs.wisc.edu/~jerryzhu/cs769/lr.pdf

我上網查了一下線性可分的解決方法

因為我意思看不太懂所以先直接把英文截下來

One way to avoid this is to incorporate a prior on θ in the form of a
zero-mean Gaussian with covariance (1/2λ)I.
and seek the MAP estimate

下面是我的解讀不知道正不正確

=================================================

我必須先設立θ是一個服從N(0,(1/2λ)I)的變數

然後計算MAP estimate(他所指的是方程式(9)嘛?)

最後在用Newton-Raphson迭代法求得最佳解

=================================================
※ 編輯: lovesnow1990 (140.119.74.75), 07/01/2014 19:04:48
推 Wush978:Keyword: regularization
→ Wush978:可以看一下LiblineaR這個套件
→ lovesnow1990:好喔 非常感謝