Re: [問題] vae生成的概念

[liang1230 (小良)]

詳細的數學網路上有很多啦，自己去查我就不多敘述
我來秀個下限，給個比較直觀的看法（電腦送修手機排版請見諒）

基本上目前的生成模型都是這樣
假設你的input data x有個不知道的機率分佈
Encoder要想辦法把你的機率分佈打到一個分佈上
在vae裡面就用了KL divergence打到guassian的分佈上(這邊用個z代表）
而Decoder的工作就是把z凹回x

而在Gan中比較不一樣的是直接就用generator把z(通常還是guassian)打回x
而讓generator學會怎麼打回去就是利用discriminator
（所以說discriminator不能太強 因為generator要做的事困難太多了）

至於原po問的應該是GMM的形式的話，這個疑問還蠻值得思考的
或許用多個guassian來sample的話可以容易sample出所要的domain
畢竟在沒有這些東西前GMM可以做的不錯。
但剛剛查了一下，是有人在做這些研究的，但似乎效果沒很好

小弟對unsupervised learning不太熟，有錯還請多指教
小弟對unsupervised learning不太熟，有錯還請多指教
另外我也想問個問題，為毛gan sample from uniform會比sample from guassian難train啊


※ 引述《seasa2016 (文慧)》之銘言：
: 大家好，小弟近來在研究vae時想到一個問題，我們都知道vae是一個unsupervise的問題，他最大的特點在於他利用了一個gaussian distribution來model embedding layer的行為。
: 在訓練的時候，透過encoder的機制 可以提供不同的mean 和 variance，因此實際上他embedding layer的gaussian 或許應該說是一個GMM的形式。
: 我想請問的是，為何最後在做生成使用之時，他可以單單使用一個N(0,I)的gaussian來做生成呢？

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.140.231.193
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1525284548.A.2F3.html
推 lucien0410: 推
推 goldflower: 因為比較不好sample到能產生好圖的分佈區域吧?
我的問題是為什麼啊.....

推 tsoahans: 我想是因為圖之間形變的過程也會被encode進去，但那不
→ tsoahans: 是我們要的 用uniform等於是sample到正常圖和中間圖的
→ tsoahans: 機率都一樣
→ tsoahans: 機率都一樣
→ tsoahans: https://i.imgur.com/MZ1B2xz.png 中間有些同時是不同
→ tsoahans: https://i.imgur.com/MZ1B2xz.png 中間有些同時是不同
→ tsoahans: 數字疊再一起的部分
→ tsoahans: 數字疊再一起的部分
→ tsoahans: 數字疊再一起的部分
沒道理啊 我們這邊用的其實比較像是空間對空間 跟機率的關係已經比較小了
※ 編輯: liang1230 (140.112.25.100), 05/03/2018 13:43:23
推 tsoahans: 那個機率是code的分布，code和圖像是能一一對應的
推 goldflower: 你可以反過來想啊  你寫個auto encoder先  把encoder
→ goldflower: 後的結果拿出來  你去看看用uniform還是gaussian比較
→ goldflower: 好描述你的資料分布
→ goldflower: 你當然理論上可以用uniform去訓練  但是沒道理放個
→ goldflower: 不直覺的prior進去吧
→ goldflower: 當然我是沒做過  說不定encode出來還真的是uniform XD
推 goldflower: 不過你112我覺得直接去敲門問李宏毅大大較能讓你信服
推 goldflower: 然後要理論的解我真不知道  有人有的話我也想知道@@
→ goldflower: 我是偏向這是經驗法則
宏毅哥我老闆....... uniform並沒有不直覺啊
※ 編輯: liang1230 (223.137.212.212), 05/03/2018 21:53:52
※ 編輯: liang1230 (223.137.212.212), 05/03/2018 21:55:08
推 goldflower: 那你有問宏毅哥嗎XD  我也想知道他說法
→ goldflower: 但是我覺得用autoencoder跑出來不會接近uniform才對
→ goldflower: 應該拿gaussian去擬合的error會比uniform低吧
VAE的KL loss就強制讓他變guassian啊
※ 編輯: liang1230 (140.112.253.211), 05/03/2018 22:32:50
推 goldflower: 噢對耶...QQ"
→ goldflower: 不過uniform的話你好圖的邊界很難確定吧
→ Rprogramming: 給一點我個人的看法 用高斯應該是統計那邊來的原因
→ Rprogramming: 不過GAN的數學也是很難，可以去看看丘成桐那篇論文