[問題] loss 一直降不下來

[jagerwu (JW)]

之前在自己嘗試 Adam 跟 RAdam 的差異時，
有時候會遇到一個狀況是使用 Adam 的時候，model 一直 train 不起來

我所謂的train 不起來是 train loss 從第一個 epoch 開始就不太會動

怪的是，我換成 RAdam 時好了。
更怪的是，再換回去 Adam時也可以正常 train 了

這中間我沒有變更 model 及其他超參數。

原本我自己覺得這大概是一開始的隨機初始值影響，
可能在訓練的時候要拚一下人品(?)

然而這幾天再嘗試一個高維度的資料降維，想說試著使用 AutoEncoder 來降維
loss 嘗試了 binary_catgoricalentropy 以及 mse
optimizer 也嘗試了 Adam 或 RAdam

依舊是 train 不太起來的狀況

跟朋友討論時懷疑是否是維度太高 (大約五六百維)造成，
但這幾天想想不太可能啊，從李宏毅之前的課看起來
700多維的應該也是可以 trian 得起來

難道訓練真的要拚人品嗎 ?
但總覺得這樣好像有點太憑運氣，
因此想請問一下大家
訓練過程是否還有其他因素會導致這樣完全 train 不起來 ?

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.129.5.37 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1568449757.A.928.html
→ y956403: train了多久發現都沒在動呢？ 有時候看了一下變化不大就
→ y956403: 會以為沒在動然後停掉 跑一陣子看看
→ jagerwu: 我有用reducelronplateau降兩三次都沒在動就會停掉了
推 sxy67230: 維度太高的情況下確實有可能會存在一定的訓練時間下loss
→ sxy67230: 降不下來的問題，你可以試著降維或是觀察長期的變化。也
→ sxy67230: 有可能是模型結構跟初始值要調整。
→ kriswu8021: 未看先猜沒有調lr
推 is2586537: 固定seed試試?
推 chobit199685: 用VAE試試看
推 tipsofwarren: 你先檢查資料吧！
推 luli0034: lr
推 zxp9505007: Learning rate再調整一下？太高或太低都可能會導致降
→ zxp9505007: 不下來