看板 DataScience 關於我們 聯絡資訊
想請問一下sensitiviy、accuracy、precision、F1等分數良劣的判斷標準值在哪? 不知道有沒有類似結構方程式適配度指標,有文獻支持的判斷標準值 Ps:小弟有嘗試找過文獻,可是對純資訊和純統計領域不太熟,麻煩各位大大指點 感謝萬分 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.139.162.134 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1593752168.A.0E0.html
loser113: 標準點就看需求 業界應該也是要測到差不多準07/03 13:42
loser113: 一次調到完美應該不太可能07/03 13:42
ddavid: 這跟需求有關,標準不是唯一的07/03 13:55
ddavid: 你很惜字如金,猜得少沒關係,重視凡猜必中,就要重視07/03 13:57
ddavid: precision07/03 13:57
ddavid: 你要把所有嫌疑犯找出來,力求涵蓋真兇在內,找太多也沒關07/03 13:58
ddavid: 係,那就會看重Recall07/03 13:58
ddavid: 你覺得兩種都要並重就會選F1,並重卻又不等重就會選擇某個07/03 14:00
ddavid: 某個不平衡的F-score07/03 14:07
ddavid: 如果是Multi-label,花樣更多了XD07/03 14:08
ddavid: 然後這非常data/task dependant,你頂多實踐了以後,回頭07/03 14:10
ddavid: 用結果反向評估說「我們過度重視precision,結果在此資料07/03 14:11
ddavid: 下因為太難正確分類,導致Model過度偏向幾乎全部猜False」07/03 14:12
ddavid: 「太重視recall導致Model做了過多True猜測,結果篩除的 07/03 14:14
ddavid: False instance過少,沒有實用價值」,這才去調整measure07/03 14:14
ddavid: 的比重07/03 14:15
aidansky0989: 不一定,看需求場景 07/03 20:02
Starcraft2: 各個領域可能會有標準的dataset跟目前各個metrics的07/04 04:20
Starcraft2: 表現基於不同的model (學術界跟業界有很多paper)07/04 04:21
Starcraft2: 例如影像辨識可能就看CIFAR-10這個dataset07/04 04:22
Starcraft2: 自然語言可能會看GLUE/ WNLI這個dataset上大家在各種07/04 04:23
Starcraft2: 自然語言上的task表現的怎麼樣 有一定的benchmark 07/04 04:24
Starcraft2: 做指標07/04 04:24
Starcraft2: 附上例子https://mccormickml.com/2019/11/05/GLUE/07/05 01:42
Starcraft2: 如果是其他自己要在公司做的特定案子, d大講得很好就07/05 01:45
Starcraft2: 是看實際的應用跟metrics對business的影響07/05 01:46
感謝樓上各位大大的回應,小弟比較有概念了!會再仔細摸索。原來要看回答的問題做cu toff,感謝各位的協助! 想再多問一個問題multi-label 的部分,網路上多以二元分類,後來我看多元分類最終也 是以二元分類形式產出,請問有沒有適合新手在multi-label更深入認識上的文章呢? 感謝各位 ※ 編輯: filialpiety (223.138.67.252 臺灣), 07/05/2020 10:33:45 喔對!!我剛剛開電腦查以下這兩篇,請問這適合入門新手嗎?? Classifier chains for multi-label classification Multi-label classification: An overview ※ 編輯: filialpiety (42.75.147.11 臺灣), 07/05/2020 12:02:12
ddavid: 新手從Overview那篇看起應該很OK,不過我懷疑你會不會連基 07/05 20:19
ddavid: 礎的single-label classification都還不夠熟悉,看情況可 07/05 20:20
ddavid: 以加減先補一下。因為multi-label的版本有很多是從single 07/05 20:21
ddavid: -label的版本延伸而來的 07/05 20:22
我single lable的概念主要從流病開始,看來得複習一下了!請問有推薦以資工角度切入 的single lable文獻或文獻的關鍵字? 感謝萬分~~ ※ 編輯: filialpiety (42.75.32.55 臺灣), 07/05/2020 21:09:01
ddavid: 一些學校的ML上課投影片應該都可以翻翻吧,然後我隨手翻了07/06 16:25
ddavid: 一下: 07/06 16:25
ddavid: https://bit.ly/2NVOLbr07/06 16:26
ddavid: 這篇整理該提到的基礎方法大致都有提到啦,但是對於各項評07/06 16:26
ddavid: 估標準沒太多著墨是個缺點,不過基礎的那些課程投影片裡面 07/06 16:28
ddavid: 應該都有吧 07/06 16:28
感謝d大,我會好好看的~謝謝您 ※ 編輯: filialpiety (223.139.211.64 臺灣), 07/08/2020 12:06:02