→ yoyololicon: 用一樣lr就好了吧沒差 另外你現在是用SGD? 05/16 13:44
logistic regression
如果自己寫固定的learning rate
而非使用adam,RMSprop等optimizer
learning rate需要蠻精細的調整
我有一個問題想向各位請益
對原本data(feature）的normalize
如何影響learning rate該往上調還是往下調
舉例
如果我原本normalize到variance 1.0 用learning rate 10^-4
訓練效果不錯
那如果我改normalize到variance 0.8
這樣learning rate要調更高還是更低好？
從數學上 data x如果變小 那lr跟gradient
乘積就會變小?
這樣應該是要調大learning rate嗎?
可是我好像不論怎調都不如原本normalize 到1.0時好
實在是不太明白
先謝謝各位了
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.30.37 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1652592132.A.134.html