[問題] tensorflow Adam 學習率 decay ?

[xxkevin (x_x)]

作業系統:win10

問題類別:DL optimizer

使用工具:tensorflow

問題內容:

在做訓練時有點在意learning rate的問題

所以特別去看了一下Adam到底有沒有做decay

原本paper上演算法上是有的

https://arxiv.org/pdf/1412.6980.pdf
Theorem 4.1

但是網路上的討論區寫到

在tensorflow裡似乎是沒有做decay的

或著說,只是做moment的調整而已

https://goo.gl/Z75bWK



想請教各位大神

在tensorflow裡的adam有沒有具備decay的功能?

還是須要自己弄個learning rate scheduling?



本版首PO

感謝各位解惑

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.220.183.232
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1533802279.A.8F3.html
→ yoyololicon: 都這樣講了應該是沒有
→ yoyololicon: 自己寫ㄅ
推 ZuiYang: 小弟用Pytorch的Adam是自己寫scheduling, tf可能也要但
→ ZuiYang: 應該有func可用
推 goldflower: keras好像就不用  不過只有照step遞減的實作
推 uloyoy: 指數衰減可以用tf.train.exponential_decay，不喜歡的話，
→ uloyoy: 自己寫也不會太難