看板 DataScience 關於我們 聯絡資訊
各位前輩好: 有些paper說VAE在image generation的缺點是不夠 realistic且生成的圖片會有點模糊 李宏毅教授的教學影片中也說VAE其實是模仿database的資料,而不是真正的去創造新的圖片,甚至生成的圖片是database的linear combination (我上課沒理解錯的話),所以才需要GAN 請問前輩們,VAE在text generation也有類似的問題嗎? 也就是VAE並不會真正的生產句子,而是從training set的distribution space中給 因為我想知道 VAE在text generation的缺點 我找了一些paper都沒有在談論這個問題,基本上都是談論VAE有 KL vanishing問題 可以的話能給我paper title,感恩 ----- Sent from JPTT on my Xiaomi Redmi 5 Plus. -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.102.36 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1593537202.A.ACF.html
seasa2016: 那就用sequence gan如何 07/01 02:19
somoskylin: 主要是想知道VAE的缺點,看來我文章寫的不清楚 07/01 02:26
somoskylin: VAE有什麼樣的問題,才會用GAN之類的 07/01 02:28
sxy67230: VAE主要是他的approximately上界就是整個資料的分佈, 07/01 09:42
sxy67230: 等同於對整個模型做了一個限制,而GAN初始採用隨機噪聲 07/01 09:42
sxy67230: ,分佈上界就只是當Discriminator無法分辨真假來源的時 07/01 09:42
sxy67230: 候,所以GAN會難train就是這個原因。 07/01 09:42
sxy67230: 關鍵字應該是explicit density 跟 implicit density模 07/01 09:44
sxy67230: 型的差異 07/01 09:44
sxy67230: 更正一下:整個訓練資料的分佈 07/01 09:45
seasa2016: 可是gan也沒辦法保證不再資料分布中的樣本能不能有好結 07/01 11:08
seasa2016: 果吧,這點可能跟vae差不多? 07/01 11:08
king22649: 這只能做出失智老人吧 還是玩影像比較有趣 07/01 13:32
kokolotl: gan感覺也是吃training set的分佈吧 07/01 14:46
kokolotl: 最近歐巴馬馬賽克轉成白人爭議應該是這樣來的 07/01 14:46
somoskylin: 謝謝s大,我找找看 07/01 16:41
somoskylin: 整樓下來,我又confuse了 07/01 16:41
seasa2016: 我覺得只是vae的 loss設計的不夠好而已,所以才用gan 07/01 18:04
acctouhou: 我認為不是loss不夠好 而是這些error不等價 07/01 21:48
acctouhou: 舉個例子 數字辨識的1 同樣誤差20個pixel,你會去找筆 07/01 21:50
acctouhou: 畫筆直的而不是在乎1長度多少,這導致了明明loss很低, 07/01 21:50
acctouhou: 卻還是騙不過眼睛 07/01 21:50
acctouhou: 所以藉由另一個network來判斷之間的差異 07/01 21:51
acctouhou: 另外NN本來就是data-driven 所以基本上都是跟資料有關 07/01 21:52
acctouhou: ,除非你的dataset已經跟母體空間夠相似 07/01 21:52
acctouhou: s大分析精闢 07/01 21:52
seasa2016: 第二第三句不就是loss不夠好不能反映真正的lossㄇ 07/01 22:01
fr75: Obama轉白人可以貼一下連結嗎 07/02 05:56
kokolotl: https://read01.com/EyQBPMG.html 07/02 11:59
somoskylin: a大圖片方面我是知道的,但是文字沒有什麼1pixel差異 07/02 12:26
somoskylin: ,我就不知道差異處了 07/02 12:26
somoskylin: 請問各位前輩我這樣理解不知道對不對: 07/02 16:24
somoskylin: VAE是找尋並符合database的特徵分佈 07/02 16:24
somoskylin: GAN可以突破database產生以外的結果,只是比較難 07/02 16:24
geminitw: VAE 的 loss 不是 "設計" 出來的吧? 是推導而來的 07/02 23:55
geminitw: VAE 是在找出 latent variable 的機率分佈, 可以用高斯 07/02 23:56
geminitw: 也可以用其他的分佈, 也許 text 不適合用高斯 07/02 23:57
seasa2016: 用高斯或其他的分佈和怎麼評估reconstruct這兩個不都可 07/03 01:06
seasa2016: 以自己設計嗎? 07/03 01:06
seasa2016: 推倒的機率式並沒有定義 07/03 01:07
world4jason: 歐巴馬那個我覺得難免…NBA那個curry都是黑人了 而且 07/06 18:29
world4jason: 他們自己人也會認錯 07/06 18:29
goldflower: 歐巴馬事件鬥到yann lecun都說要退出twitter了XD 07/11 22:18