[問題] 測試資料的特徵重要性

[cshcsh6847 (cshcsh6847)]

有一些問題想來問問版上的大大
拜託大家賜教了

在訓練ML的時候
用tree based模型可以看feature importance
知道模型基於哪些特徵來決定結果的

但是如果在跑測試資料的時候
想請問各位有沒有辦法顯示出為什麼分類結果是如此

E.g.
1/0 分類
A B C D feature是重要的
但是這筆資料主要是A的數值影響他被分類到1

請問各位有做過這類的事情嗎？
謝謝！

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 39.8.71.208 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1577350881.A.800.html
→ chang1248w: 這是模型解釋的部分吧? 你可以從模型的最後面寫一支
→ chang1248w: 輸出，然後把valid data跑過一遍
→ chang1248w: 沒事,我誤會你的意思了
→ sxy67230: 用Shap這個Python library 可以解決你的問題，他的做法
→ sxy67230: 是基於game theory，只要你有模型，設定好測試基準，根
→ sxy67230: 據你的測試集可以知道你的特徵選取原因。
推 MXNet: sensitivity analysis?
→ y956403: 很多時候不是單純因為一個特徵而被分類的吧
推 a78998042a: InterpretML: A Unified Framework for Machine Learn
→ a78998042a: ing Interpretability. 算新議題，看看吧