[問題] 關於遺失值的處理

[dummytrue (就只是大叔而已)]

不好意思 新手發問

在資料預處理的時候
發現有些變數的遺失值過大(>90%以上都是)
像這樣的變數還適合做遺失值的填補來做後續的分析(回歸、成分分析...)嗎？
還是說有一定的原則來取捨變數？

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.76.175.139
※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1507888823.A.3FE.html
推 f496328mm: 主要還是看問題吧
→ f496328mm: 遺失值也是一個訊息   不是NA就不理他
→ f496328mm: 你要想為何會產生 NA
→ f496328mm: 在 ML 的 tree 上   遺失值也能做分析
→ f496328mm: 而大多數 ML ，都是從 tree 出發, RF、XGB 等等
→ f496328mm: 例如在製程的問題上  NA 是正常的  不能不理他
→ dummytrue: 是病歷資料庫的分析...有些項目有做 有些則沒
→ dummytrue: 想找出幾個可能和疾病有關的變數
→ dummytrue: 才會想說遺失過大的填補是否有意義？
→ f496328mm: 你可以從醫學領域出發去想
→ f496328mm: 疾病應該就是   有病跟沒病
→ f496328mm: 填補可以試試平均
→ f496328mm: 或是特殊醫療檢測   例如核磁共振
→ f496328mm: 一般很難做到核磁共振  就算做這個能高度判斷出有無病
→ f496328mm: 一般醫院還是從X光、超音波開始，頂多到電腦斷層
→ f496328mm: 你做出核磁的變量x超強   但好像意義不大?
→ f496328mm: https://goo.gl/eibh9L  我做製成分析並寫篇文章介紹
→ f496328mm: 基本上也是高度遺失值
→ dummytrue: f大的東西看起來好誘人XD 我目前是還在鑽統計的模型
→ dummytrue: 不過很想走到ML的領域去 可以的話 f大能否再多介紹一些
→ dummytrue: 另外我的變數都是一般抽血檢查或問診結果
→ dummytrue: 我後來想想填補的效果不應該在模型中跑出顯著差異
→ dummytrue: 所以就大膽補下去了
推 f496328mm: 我剛好10/16被抓去當兵   以後很難回你啦
→ f496328mm: 基本上醫學上做這個   應該就是希望
→ f496328mm: 最少成本(檢驗方法)   達到最高判斷率吧?
→ f496328mm: 一般迴歸可以看 p value, 或是 lasso AIC BIC 等等
→ f496328mm: 遺失值方面  應該有相對應的統計模型
→ f496328mm: 我是從 ML 的角度去看
→ f496328mm: 利用少量變數   達到不錯的準確度
→ f496328mm: 另外 lasso 也很多種變形
→ f496328mm: 不要侷限在單一檢驗方法   全部一起用會比較好