[問題] 深度學習實踐問題

[clansoda (小笨)]

各位資料科學的先進好，我目前正在學校裡面學習深度學習相關的知識

目前是想自己寫出一個簡單的MLP來檢驗自己的學習

運用的架構是一層input layer，一層的hidden layer

最後一層是只有一個node的output layer

hidden layer的activation function是relu

output lyayer的activation function是sigmoid

除了output layer之外都有bias

跑起來程式上沒有問題，我的問題在於error收斂的很慢

error雖然一直往0在下降，但是幅度低的讓人難以接受

就我所知learning rate大概就是0.1 ~ 0.3這樣的值

因為這只是簡單的實踐，所以沒有使用learning rate decay的技巧

我已經將learning rate設為0.5了，error下降的速度還是很難讓人接受

想請問我的寫法是不是有哪邊錯了才導致這樣的結果呢?

這是我的code，最下面附上100個epoch訓練的error結果

https://pastebin.com/CTz4AkN5

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 108.12.49.245
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1541822859.A.5BF.html
推 st1009: 學習率過大容易超過的說，我都設0.00001之類的，epoch 2w
推 EGsux: 能說一下你的lable 跟dataset嗎？
推 Kazimir: 你需要調整權重的初始值 一般會用N(0,0.01)
→ Kazimir: 如果還是有問題在調整LR到0.01
→ yoyololicon: learning rate太大+1
→ yoyololicon: 別用vectorize, numpy好好的broadcasting特性為何不
→ yoyololicon: 用(扶額
→ yoyololicon: 然後hidden layer的activation換別的看看(非relu類
→ yoyololicon: 的)，這麼淺用relu可能會GG
推 bessgaga: 一層隱藏層的效能本來就不好了吧，我覺得很快收斂是意
→ bessgaga: 料之中耶
推 EGsux: https://github.com/SkalskiP/ILearnDeepLearning.py/tre
→ EGsux: e/master/01_mysteries_of_neural_networks/03_numpy_neu
→ EGsux: ral_net
推 yiefaung: 把每一層output印出來看看符不符合你的預期
→ yiefaung: 通常印出來就知道問題出在哪 不用亂試
推 Sfly: 你對learning rate的認知是錯的