作者wang19980531 (中立評論員)
看板DataScience
標題[問題] 如何從Mutual Information推導到loss fun
時間Sat Dec 26 22:22:28 2020
近期Contrastive learning的loss function
基本上都是源自approximate estimate的
mutual information，
但是不論從Deep InfoMax，InfoNCE，
都和Mutual Information的樣子差很多
有沒有Step by Step的推導過程
謝謝大家幫忙
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.10.17.100 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1608992550.A.3B0.html
推 pups003: 可以參考on variations bounds of mutual information 12/31 23:13
→ pups003: *variational 自動選字來亂 12/31 23:16
→ wang19980531: 好謝謝 我來看一下 式子好像有點多 01/02 13:25
推 sxy67230: 關鍵字：mutual information neural estimation，其實就 01/06 00:19
→ sxy67230: 是轉化成找MI的上下界的問題，透過學習一個function逼 01/06 00:20
→ sxy67230: 近下界 01/06 00:20