[問題] Conv layer的bias項

[clansoda (小笨)]

不好意思又來打擾各位了

我目前正在用搭建幾個經典模型來練習pytorch

我突然發現torchvision 他們自己的實踐裡頭

所有的conv layer的bias 都設為False

就我自己唸過GoogLeNet的paper 作者似乎沒有提到這個想法

我也去找了Resnet的實踐，他們一樣都把conv layer的bias設為False

這是他們實踐的網址 https://reurl.cc/9zdK78

我上網查了一下，有人用實驗證明有沒有bias項不影響準確度

也有人提到說當模型比較大的時候，bias項是可有可無的

這是我找到的reference https://reurl.cc/drdMn2

那我的問題就是 什麼叫做模型比較大

是比較深還是參數的數量比較多呢

不知道各位在實踐CNN系列的模型的時候也會設Bias項為False嗎

除了減少參數的數量之外，有其他更顯著的好處嗎

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 73.189.185.80 (美國)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1582963602.A.87A.html
推 st1009: 個人經驗，較大指的是參數量
→ truehero: 直觀來說，bias增加擬合能力，寬或深的網路都會增加擬合
→ truehero: 能力，bias自然就不重要了
→ clansoda: 了解了，對我來說算是一個新理解
推 banyhong: 後面接batchnorm時，bn會重設bias，所以conv bias多餘
推 HsieHsieH: 因為BatchNorn
推 sxy67230: 樓上正解，主要的原因還是在深度模型都有使用batch norm
→ sxy67230: alize，BatchNorm 會使mean values偏移，導致所有常數
→ sxy67230: 項歸零，所以說沒有必要去設置bias。