[問題] 多標籤任務(Multi-Label)模型評估

[clairehuei ()]

各位大大好,最近小弟用keras在進行一個多標籤(不是多分類)模型的訓練,

ex:

# Samples
y_true = np.array([[1,1,0,0,1], [1,0,1,1,0], [0,1,1,0,0]])
y_pred = np.array([[0,1,1,1,1], [1,0,0,1,1], [1,0,1,0,0]])


想問的是,在實務上對於這種任務的模型效能應該怎麼評估?

目前我是爬文後參考網路上的建議,採用:

model.compile(loss='binary_crossentropy', optimizer='adam',
              metrics=['accuracy'])

算出來的分數很高,但感覺有點怪怪的,不太確定這樣的評估標準是根據什麼?

一般二分類的分數計算較為直觀且易於驗算, 但在這邊有點難以理解~"~

懇請各位大大不吝指點, 感恩 <(_*_)>

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.160.84.186 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1566640034.A.510.html
推 bessgaga: 那個loss就是把每一個label都當作一個二分類問題來做，
→ bessgaga: 至於matric其實可以自己寫你要的效能判斷式，比如我之前
→ bessgaga: 在做通訊工程問題就是算overall capacity ，不一定要拘
→ bessgaga: 泥在他的matrices
推 sean50301: multi label用precision recall來看比較好吧？
推 yoyololicon: precision recall f1-score
→ KuChanTung: 必須要自己寫generator
之前做二分類的時候有使用:
Accuracy / Precision / Recall / F1-measure / ROC&AUC 這些指標

在多標籤這邊要用的話,是要針對個別的label去計算上述指標分數嗎?

有沒有一種指標是以整體來評估的呢?
※ 編輯: clairehuei (1.160.84.186 臺灣), 08/24/2019 21:44:38
※ 編輯: clairehuei (1.160.84.186 臺灣), 08/24/2019 21:45:05
推 luluthejason: 我覺得 要看你到底想要評估什麼才對 不是說找個指
→ luluthejason: 標就好 是看你有什麼期望才對吧？
推 illegalplan: 不然你自己對每個類別的F1做加權如何 之後再看各類
→ illegalplan: 別的recall/precision
推 ZongXiu: 使小數點第一位四捨五入，取整數，計算完全相同的比例