作者KirimaSyaro (心懷感謝不以物喜不以己)
看板DataScience
標題[問題] 關於neural network某層加gaus noise的
時間Wed Dec 11 08:08:44 2019
很多paper (尤其是GAN相關）
都有在ＮＮ某層加noise的情況
這個在數學上的意義是什麼？
我可以理解說 這是要對generator產生的結果更有亂數性
不過實際上在做gradient descent進行back propagation時
這項noise存在在計算gradient中吧？
例如最簡單的MSE loss來看 算gradient時 2*(X-X')*(...)
如果加了gaussian noise N在最後一層
2*(X+N- X') *(....)
會影響反向傳播 等於是在做gradient descent時 會有一定機率是亂走的分量
而這亂走的gradient就是加noise貢獻的
同理 若是加在中間層也會有這樣的情況 (因為chain rule)
就我理解是 他在做gradient descent的optimization是讓他走到
一個不容易跳開的平坦低點 這樣就算加noise還是最佳的
大家若有覺得更好的數學意義 還請各位不吝分享
謝謝
--
:I clean the house and wash the bathroom and toilet and make the cake for my
roommate. The ones she allows I might be capable of doing.
:And do you go out with friends?
:Well, a boy's best friend is his roommate.
<No Angels>
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.16.173 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1576022931.A.97A.html
→ hsnuyi: Dither? 12/11 15:27
推 BrowningZen: 因為是gaussian, 平均做夠多次還是會互消converge 12/11 16:57
推 abc53: 假如input沒noise 會是one to one的mapping 12/12 02:15
推 abc53: conditional gan 想得到one to many的mapping 所以需要nois 12/12 02:22
→ abc53: e 不確定是不是你想要的答案XD 12/12 02:22
→ patrick2dot0: 這不知道是不是你要的答案 12/15 01:25
→ KirimaSyaro: 謝謝樓上諸位 12/18 21:45
