看板 Statistics 關於我們 聯絡資訊
最近在研究decision tree跟random forest,不知道能不能跟各位大大請教實際執行的細 節呢? 1. Random forest的目的是不是要計算哪些變數比較重要,而不是選出最好的model?但要 算變數的重要性,一開始prune完後的tree裡前面幾個node不就代表是重要的嗎? 2. 接上題,跑完Random forest後,除了把變數重要性的圖畫出來後還要做什麼嗎?我們 如何根據這圖來改進model? 3. 就算我知道某變數第二或第三重要,要如何解釋呢?理論上,我跑decision tree的目 的,就是要知道interaction,也就是把資料切成小塊後不同塊再用不同變數切。那可能 某變數對某小塊資料很重要,但對全體平均而言不是最重要的。但我想知道的就是那小塊 的狀況啊!我要知道平均效果不是跑迴歸就好了? 感謝各位! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 152.3.43.176 ※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1498844091.A.434.html
f496328mm: 弱模型經過 ensemble 後,效果會變好,這就是RF的概念 07/01 03:23
f496328mm: 變數重要性,在對於variable selection時會有幫助,變 07/01 03:25
f496328mm: 數不是越多越好 07/01 03:25
f496328mm: 解釋部分,你可以從專業領域去解釋,單純一棵樹,你用 07/01 03:32
f496328mm: 不同變數切的順許會有影響,另外你只是對目前的樣本做 07/01 03:32
f496328mm: 分析,但我們更關心testing,這是你目前樣本沒有的, 07/01 03:32
f496328mm: 所以單純fitting training data沒有意義,這就是為什 07/01 03:32
f496328mm: 麼要有RF 07/01 03:32
f496328mm: 如果有錯請板上大大更正 07/01 03:34
recorriendo: decision tree is noise sensitive 07/01 04:44
recorriendo: 加入小量隨機誤差 給出的變數重要度就可能完全不同 07/01 04:45
recorriendo: 用emsemble可以大大提升穩定度 07/01 04:46
recorriendo: 如果要用回歸判定變數重要度也是要用ensemble 07/01 04:52
recorriendo: (參考multi-model inference) 07/01 04:52
hsnuyi: 去看林軒田的youtube 結論跟上面幾位講的一樣 不過有比較 07/01 16:09
hsnuyi: 詳細的推導 07/01 16:09
hsnuyi: DT如果不prune的話確實很sensitive to noise 不過有prune 07/01 16:12
hsnuyi: 的話則好一點 07/01 16:12
hsnuyi: 要調整RF參數的方法有很多種 但這關係到你的target functi 07/01 16:14
hsnuyi: on 可以去CrossValidated找討論 那有很多文章 07/01 16:14
ckmc: 推 07/01 17:11
f496328mm: 基本上 RF 就是一個 ensemble 很好的實現 07/01 23:33
f496328mm: 現有DATA要怎麼做很多弱模型?? 07/01 23:34
f496328mm: 第一個方法就是取 "部分變數" 進行建模 07/01 23:35
f496328mm: 第二個方法就是對 "部分樣本" 做建模 07/01 23:35
f496328mm: 去看林軒田的會比較好,這裡面很多東西可以講 07/01 23:38
f496328mm: 我們只是講個大概而已 裡面還有很多細節 07/01 23:38
wearytolove: 感謝大家~~~~ 07/03 13:31