[討論] BatchNorm vs InstanceNorm

[wang19980531 (中立評論員)]

MoCo論文當中 有提到BN 可能會藉由計算batch分布 以快速達到很好的訓練效果 而非真正
從資料特徵來學習
我把ResNet18每個bn換成instance norm
結果訓練的loss確實有逐步下降，
但evaluation的結果顯示很震盪
想知道這樣直接換 是合理的嗎

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.10.31.131 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1605201027.A.ECF.html
推 min86615: 如果要做style transfer 是合理的，若是分類問題則不建
→ min86615: 議，分類因記憶體限制建議使用GN，說明網路上查都有就不
→ min86615: 獻醜了
→ wang19980531: 我用GN測試 效果也太好了吧 謝謝你
→ wang19980531: 對了像我要改一個既有的網絡框架 像是Resnet18
→ wang19980531: 除了一行一行改之外，有沒有其他辦法
推 jameschiou: 一般是迴圈的方式建resnet 應該不用單行單行改
→ jameschiou: https://reurl.cc/Grv0ZZ
推 janus7799: 如果是Tensoflow，1.x版可以建好靜態圖再抽換，2.x版可
→ janus7799: 以用clone_model的clone_function直接把layer換掉。其
→ janus7799: 他框架應該也能做到，畢竟BN或LN都是簡單的sequential
→ janus7799: 連結。