作者ruthertw (督人無數就是我)
看板DataScience
標題[討論] 練習backpropagation產生疑惑(附圖)
時間Sat Aug 3 22:37:59 2019
- 討論: 當你自己已經有答案，但是也想聽聽版友意見時。
練習簡單的backpropagation:
dataset只是個很小的多維矩陣.
sigmoid function
syn0 and syn1: synapse matrices for weights
L1:first layer
L1_error, L2_error: backpropagation of errors - the chain rule.
L1_delta, L1_delta:error rate of prediction on each iteraterations
L2:second layer
iteraterations: 600 6000 60000
以下皆取mean值:
600:
https://reurl.cc/xnEMb
6000:
https://reurl.cc/LR7ke
60000:
https://reurl.cc/NVZ7e
1.
最終結果是正確的 - calculate the gradient
但是mean值在iteraterations:
0~20區間
180~250區間
會有奇怪的震盪和轉折,
不知道怎麼說明解釋.
2.
L1_delta, L2_delta差異極大,
要怎麼說明其正確性.
3.
整體最終是正確,
但個別區間和折線看上去不太正常,
應該怎麼理解?
會是因為dataset太小的關係嗎?
謝謝~
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.71.213.235 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1564843081.A.86C.html
※ 編輯: ruthertw (111.71.213.235 臺灣), 08/03/2019 22:48:43
推 yoyololicon: 我覺得正常欸 之前自己寫BP的經驗也是到中間會亂震 08/03 23:42
→ yoyololicon: 一下，但還是會收斂 08/03 23:42
推 sxy67230: 假設不考慮程式錯誤，會產生震盪是因為你的梯度下降收 08/04 10:23
→ sxy67230: 斂一直在local optimum來回擺盪，通常這種細微震盪都會 08/04 10:23
→ sxy67230: 因為你的learning rate可以跳出去，可以試著加入momentu 08/04 10:23
→ sxy67230: m 項次改善震盪的情形 08/04 10:23