[問題] 請問CNN網路的dropout問題

[Rprogramming (Matlab是盤子在用的)]

問題類別:(ex：ML,SVM,RL,DL,RNN,CNN,NLP,BD,Vis,etc...)
CNN
問題內容:

想請問在CNN類別的架構中

就是前面convolution層接個幾層 然後後面接DNN接個幾層

這種架構下

如果要dropout來避免overfitting

應該是在DNN層做dropout比較好

還是CNN層做dropout比較好?

我自己嘗試了半天

實在是沒有甚麼好結論

請教各位前輩能否給點建議

謝謝了

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 119.14.42.199
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1524076693.A.64A.html
推 EGsux: VGG我印象都有加 只是這兩年的paper大家有用 batch norm/gr
→ EGsux: oup norm的大多都沒在用 dropout了
謝謝，我會去找VGG來看，想再請問batch normalization跟dropout會互相衝突嗎?
因為就我理解,dropout是處理overfitting, 而batch normalization是處理train不起來
兩者的應用應該是不一樣的?
推 AmibaGelos: 最後一次bn/gn後面幾層可加(通常是fc) 但效果可忽略
謝謝，我自己是覺得加在FC比較合理，因為感覺靠近output比較快收斂不動,應該用
dropout來讓其收斂更好
※ 編輯: Rprogramming (119.14.42.199), 04/20/2018 01:44:30
推 EGsux:  印象中單純是不加accuracy較好 個人做還是有加啦 你也不
→ EGsux: 用一個一個model去試 先看一下 這幾年流行的CNN再拿來改
推 AmibaGelos: dropout隨機砍會讓bn無法正規化性能下降 最近有篇有
→ AmibaGelos: 解但相較於純bn只是補回損失  建議先觀望後續發展