[討論] 對於1x1 kernel(convolution)的功用

[CVPR (硬train一發)]

1x1 convolution在segmentation中常用上

可以理解為segmentation這種pixel等級的操作,
不希望相鄰pixel間互相影響才採用這種單元而非大的kernel 做convolution

1x1 conv也有用在資訊的壓縮上，將多張的feature map壓成少量feature map
例如network in network

這跟fully connected dense神經元又有點不同，因為fully connected是對同一張feature map每個不同位置的pixel做weighted sum

而1x1 convolution是對同一個位置,不同張feature maps做sum

這是我的理解，大家覺得呢?

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.136.207.81
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1532370457.A.B8A.html
推 qwerty9876c: 把fully connected layer的input想像成1*1*c*n，兩個
推 qwerty9876c: 是等價的。其中，1*1是大小，c是channel數目，n是
→ qwerty9876c: data數量。
推 jtyang1996: 你是不是在看glow
→ Mchord: fully connect是所有feature map所有位置，你文中描述的
→ Mchord: 比較像是global depth wise convolution之類的的東西
推 yiefaung: 降維 減少運算量 bottleneck conv版fc
→ truehero: 個人理解 1x1 conv 就是增加非線性方便擬和 剩下都是其
推 minminpp: 我的理解是 1*1 conv會對input channel 做線性組合，所
→ minminpp: 以每一個output channel都是一種input channel線性疊加
→ minminpp: 組合
推 uloyoy: 如果convolution的kernel size和input size(不包含channel
→ uloyoy:  )一樣那它跟fully connected 等價