[問題] DCGAN的generator使用relu而非leaky的原因

[CVPR (硬train一發)]

DCGAN的Discriminator用leaky ReLU
而Generator用ReLU

我想不懂為何Generator不用LeakyReLU?

自己測試人臉產生，使用Leaky在generator產生的人臉會有點糊糊的

不知道有沒有辦法解釋這種現象?

補充] 也有可能是我leakyReLu的alpha沒有調好， 我也有看到有人用selu得到不錯的結果

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.136.41.69
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1526723780.A.7AC.html
※ 編輯: CVPR (223.136.41.69), 05/19/2018 17:59:13
推 sma1033: 也許使用LReLU能夠得到的Model非線性程度較低，所以Model
→ sma1033: 在生產類似"邊界"的東西時對比會差一點?
感謝回應，我也是這樣猜，不過需要更多實驗證實
推 leoloveivy: soumith 那個tricky不是盡量都用leaky嗎 avoid sparse
→ leoloveivy:  gradient
→ CVPR: 對 我也是看那個trick, 可是我自己試generator也是效果不太
→ CVPR: 好
→ CVPR: DCGAN原本paper就有寫用ReLU在generator效果好
→ CVPR: 不過我generator沒有加dropout ，不知道leaky加了會怎樣
※ 編輯: CVPR (223.137.38.91), 05/21/2018 08:07:10
→ Kazimir: 我自己試了一下 沒感覺relu有比leaky清楚
→ catxfish: 以前試是覺得都差不多 都不夠清晰
→ catxfish: 而且training set的品質影響很大 要花時間篩選
※ 編輯: CVPR (223.140.117.142), 05/22/2018 06:21:27