推 st1009: 依照經驗這個值應該是試出來的，現在NN感覺真的很沒有規範 03/26 20:40
→ Mchord: 經驗法則 03/26 22:12
推 sma1033: 有規範啊，只是都嘛結果導向，誰結果好誰就是規範 03/27 13:14
→ sxy67230: 試出來的，不過一般來說，我們期望初始權重最好mean接 03/27 13:17
→ sxy67230: 近或是等於0，var不要太大，大部分會試驗的方向就是用 03/27 13:17
→ sxy67230: 高斯隨機或是均勻分佈隨機出來，剩下的就是試試看大概會 03/27 13:17
→ sxy67230: 到哪裡，cost會比較好。就像為什麼cnn大部分初始會推薦 03/27 13:17
→ sxy67230: 人家無腦使用xavier一樣，就是經驗法則。不過你也可以 03/27 13:17
→ sxy67230: 試試看其他的方式初始權重，也許有驚喜 03/27 13:17
→ tigerbojo: 感謝各位先進的回覆，小弟知道了!感恩!!! 03/27 17:30
→ followwar: xavier init人家是有數學證明的...哪有經驗法則.. 03/31 09:45
推 sxy67230: 我說的是上面那個2.4是試出來的，Xavier 我當然知道是 04/01 10:38
→ sxy67230: 推導出來的，我要舉的例子是選擇Xavier 還是你想用Gauss 04/01 10:39
→ sxy67230: ian init是經驗法則，沒有說Xavier就一定比截斷Gaussian 04/01 10:39
→ sxy67230: 好的道理，哪種初始方式好要看你的網路架構 04/01 10:39
推 sma1033: 本來用哪種init方式就跟資料的分布有相關，哪有數學能夠 04/01 10:56
→ sma1033: 證明某一種init方式在所有狀況都一定能適用 04/01 10:57
→ sma1033: 都嘛是看資料長什麼樣子，再見招拆招 04/01 10:58
→ sma1033: 所以說是「試出來的」也完全不為過... 04/01 10:59
推 thefattiger: DL相關的證明通常都對data做了很多假設 04/01 12:44
→ thefattiger: 所以是經驗法則沒錯 04/01 12:45