[問題] Mutual Information Max. vs Disentangled

[lifeowner (珍惜一分一秒)]

各位前輩: 最近在看 InfoGan (以及 Beta-VAE )
會提到希望把 Data 的隱變量 (latent representation/variables)
儘量做到 disentangled
這樣可以讓某些特性就用
某個特定維度上的 latent variable來表達

目前看到的方式就是用 Mutual Information Maximization.

不過 我一直找不到 (不理解) 為何 MI Max --> Disentangled representation?

這有直覺上的解釋 或者是有被嚴格證明的?

謝謝各位解惑

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.137.22.220 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1669883027.A.C18.html
※ 編輯: lifeowner (223.137.22.220 臺灣), 12/01/2022 16:25:03
→ chang1248w: arXiv:1802.04942
→ chang1248w: 你的理解中，MI分析的對象是？
Image vs latent code
※ 編輯: lifeowner (223.137.22.220 臺灣), 12/01/2022 18:17:42
→ chang1248w: infogan的思路建立在latent code本身就是distangled
→ chang1248w: 然後MI reg的部分則是強迫gan啟用latent code的訊息
→ chang1248w: MI(X, Y) = KL(p(x,y)||p(x)p(y)) has maximum when
→ chang1248w: 痾 minimum...  when p(x,y)=p(x)p(y)
→ chang1248w: 這種情況下代表generator output 和latent code完全沒
→ chang1248w: 關係
→ chang1248w: 另外直覺上VAE的latent nodes才會minimize彼此之間的
→ chang1248w: MI
→ truehero: arxiv 1811.12359v4
→ pups003: 應該不是chang說的那樣 論文裡是寫MI maximization
→ pups003: 我的理解是，並不是maximizing MI->disentangled
→ pups003: 而是用了categorical code
→ pups003: MI max一般用在latent跟output上是用來減緩mode collapse