[問題] Tutorial on VAE 的問題

[tipsofwarren (tipsofwarren)]

各位前輩, 小的最近在讀

"Tutorial on Variational Autoencoders"

https://arxiv.org/pdf/1606.05908.pdf

在 Page 9 末:

Hence, as is standard in stochastic gradient descent,
we take one sample of z and treat P(X|z) for that z as an
approximation of E [log P(X|z)]. (E 是 以 Q(Z) 為分配的期望值)

我的問題是 treat P(X|z) for that z 是不是應該為
treat logP(X|z) for that z 才對?
或者我的思路哪兒錯了? 感謝指導.


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.162.161.249 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1559827172.A.979.html
→ sxy67230: 我的理解是作者說明that z as a proximation是在描述我
→ sxy67230: 們p(X|z)採樣出來的z，這個採樣點z可以視為是E［p(X|z]
→ sxy67230: 的近似...這比較像是文章的理解啦。
非常感謝 sxy 大, 端午節快樂!
推 bulc381: 是logP沒錯 就是Monte Carlo
→ bulc381: 剛好今天VAE作者傳了一篇Introduction to VAE上arXiv 也
→ bulc381: 可以來回對照看看 https://arxiv.org/abs/1906.02691
拍謝我根本不是數統背景, Monte Carlo 沒學過...
所以您的意思是 原文應該改為 treat log P(X|z) for that z?
很感謝您提醒 Kingma 有推出 introduction, 我光看 VAE 的原理
來來回回 (包含私信請教 sxy) 花了快一個月, 台灣的 youtube 相關原理教學
幾乎沒有(李教授很簡單的帶過), 即使 Stanford 的 ML Generative Model 那片
(Serena Yeung 講得多一些, 但是也是點到而已... 有學生問她為何 latent variable
Z 要用 Normal distribution, 她卡住... 一開始我也覺得, 當然是高斯呀, 後來
突然看到 Bishop 有提到, Normal Distribution 的 Entropy 最大,
突然有被點到的感覺)
很感恩兩位大大...
※ 編輯: tipsofwarren (118.160.84.85 臺灣), 06/07/2019 22:25:03
→ bulc381: 對 其實就是常常看paper會看到有一步推導 會把期望值變成
→ bulc381: = 1/N Σ(...) 這樣的作法，只是這邊簡單取N=1
推 bulc381: 我還沒仔細看那篇introduction，但看起來第三章有提到你
→ bulc381: 上面講的：為什麼要用Gaussian
→ bulc381: 還有要怎麼放寬讓它也可以是非Gaussian
→ sxy67230: Monte Carlo EM取期望值E[log(p(y,x|theta))] 近似於 1/
→ sxy67230: N summation(log(P(x,y|theta)))，當考慮只採樣一個z的
→ sxy67230: 採樣點的時候就是log(P(X|z^)，z^為採樣點z。我覺得個人
→ sxy67230: 理解是原作者表達也沒錯，只是換一個方式說，然後想說
→ sxy67230: 明取樣z就是期望值的近似，等同於後話就是log(P(X|z^)這
→ sxy67230: 件事情。
推 disney82231: 關於VAE我也有問題，就是他的output是機率值，還是就
→ disney82231: 像AE是預測自己的值
→ youngman77: 如果理解沒有錯, 用RMSE Loss, output是gaussian mu
→ youngman77: 而且std=1, 所以你可以代回gaussian得到你要的機率
→ youngman77: posterior選擇gaussian approximation應該是個conven
→ youngman77: ient choice, 選擇gaussian除了可以進一步用ICLR14 K
→ youngman77: ingma提出的reparameterization trick進一步降低stoc
→ youngman77: hastic gradient of ELBO的variation以外, ELBO拆解
→ youngman77: 出來的KL divergence那一項也可以直接得到論文中推
→ youngman77: 導的解析解。