Re: [徵文] Self-Normalizing Neural Networks

[PyTorch (PY火炬)]

弱弱問一下，

selu可以搭配batch normalization嗎?

我試了一下結果有點詭異，

不太確定是我code寫錯還是selu不能加BN?

再順便確認下selu放在residual networks是可以的嗎?

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.71.105.53
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1537322634.A.032.html
推 thefattiger: 1.可以是可以,但為什麼要？
train到一段時間後，前面的layer gradient vanish了，想加BN看能不能改善
剛剛我仔細檢查兩者發現selu要求initialization是Xavier
可是BN的initialization好像是variance固定是1,
好像互相衝突了，
不知道我結果怪是不是這原因
→ thefattiger: 2.我沒試過,但這兩個概念應該沒有衝突
※ 編輯: PyTorch (114.136.227.153), 09/19/2018 14:39:40
→ PyTorch: 謝謝樓上回答