[問題] 相似物體的物件偵測及實例分割 confidence threshold 設置

[fundamental (呵呵呵呵呵)]

作業系統: win10

問題類別: Faster R-CNN、Mask R-CNN

使用工具: python

問題內容:
各位版友好
小弟最近在接觸物件辨識相關應用(商品辨識)
對於輸出結果的confidence threshold設置有些疑問
假設模型訓練時精度已經非常高的情況下，將辨識種類分為兩種

1.辨識的種類差異很大
confidence threshold可以設的非常高，ex:0.9


2.辨識的種類非常相似
confidence threshold設0.9幾乎找不到結果，如果設0.5甚至更低才會有輸出

很相似的種類在訓練時雖然得到很好的結果，但訓練資料不會完全符合實際應用的變化
故設太高可能會辨識不到，設太低可能會得到很多錯誤的結果
不知道一般會怎麼決定confidence threshold呢?
感覺這跟辨識的東西差異性大不大是相依的問題
面對細粒度物件辨識問題時該怎麼決定輸出閾值呢?
目前使用物件偵測Faster R-CNN 及實例分割 Mask R-CNN都會遇到一樣的問題
想請有經驗的幫忙解惑 謝謝!

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.21.182.85 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1561617119.A.03B.html
→ sxy67230: 做precision recall
→ sxy67230: 大量測試下看你實際上應用需要的狀況，像你偵測癌症就會
→ sxy67230: 希望recall高一點，誤判好細胞比讓癌症沒被殺死還要重要
→ sxy67230: 更正一下，意思是你把正常細胞判錯沒關係，但是如果癌
→ sxy67230: 細胞沒全殺光，有機會讓癌細胞擴散，那你的這套算法會
→ sxy67230: 讓醫院賠死
推 sxy67230: 所以才要recall高一點，其他應用也是一樣，看你希望應
→ sxy67230: 用上能盡可能抓到全部的東西，那就recall高一點，你希
→ sxy67230: 望盡量不要一直抓錯，那precision就高一點，但是相對來
→ sxy67230: 說miss的機率就會提高
推 sxy67230: 當然你也可以重頭重新標註資料，提升標註品質，那你rcnn
→ sxy67230: 正確率也會提高
→ fundamental: 先謝謝您的回覆，您說的比較像瑕疵辨識，寧可錯殺也
→ fundamental: 不放過任何一個
→ fundamental: 但我的應用上不只有兩個分類，可能沒辦法用這個方法
→ fundamental: 目前我是打算先用物件偵測找出物品位置再做分類辨識
→ fundamental: 將辨識問題拆為兩段，物件偵閾值應該就能設比較高了
→ sxy67230: 多分類是可以比照二分類的方式，畫PR曲線找到比較理想
→ sxy67230: 的threshold。
→ sxy67230: 上面只是舉例二分類，多分類一樣能透過pr找到threshold
→ sxy67230: 較佳值。
→ fundamental: 了解 謝謝您的分享