[問題] batchsize 怎麼調?

[lunashining (asdfgh)]

問題類別:(ex：ML,SVM,RL,DL,RNN,CNN,NLP,BD,Vis,etc...)
CNN
問題內容:
最近看到一篇group normalization
說是batchsize小的時候會比batch normalization error rate小

但是看他圖畫的都是小於32以下

想到以前經驗都是增加 batchsize來快一點

想問什麼時候會要將 batchsize調小? 什麼時候要調大?



--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.25.217
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1525109735.A.3EB.html
→ chchan1111: 可以去看李弘毅老師的這個課程中Gradient Descent
→ chchan1111: 的部分，裡面對batch size的概念說明的蠻清楚的
→ chchan1111: 補充 Machine Learning的課程
→ TOEFLiBT100: 決的train acc有上升但太慢=>加大batch size
→ TOEFLiBT100: 發現train acc卡住=>減小batch size
→ TOEFLiBT100: 我昰這樣做的
→ ykjiang: 我想跟餵的資料也有關，如資料都類似，batchsize可小些
→ AmibaGelos: BN雖然好用但BP時所有FP資料都得要存在同一個GPU上
→ AmibaGelos: 模型太大的話根本做不到,GN可以讓模型大小繼續變大的
→ AmibaGelos: 同時繼續享受BN帶來的好處 batch大小其實跟BN彼此可以
→ AmibaGelos: 互相獨立的,可以開1024的batch拆成8組丟到8顆GPU上各
→ AmibaGelos: 自做BN