[問題] 為什麼使用local self attention 取代cnn

[majaja8787 (馬奇亞米)]

主要的問題是從這篇問題而來
scaling local self-attention for parameter efficient visual backbones

cnn 模型的參數量與 receptive field 大小成平方關係
而這裡提到因為 self-attention 是一種 parameter-independent 的架構
所以在調整 receptive field 時，參數量不太會增加

我這邊的理解是self-attention 運算時若 receptive field 太大
會導致QKV矩陣跟著變大，參數量也會變大

所以這邊不太明白為什麼self-attention
會比cnn使用的參數量還少
請求各位幫忙指點指點


-----
Sent from JPTT on my iPhone

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.137.31.29 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1653221020.A.D42.html
→ chang1248w: 你沒睡醒吧，receptive field 變大可是 feature
→ chang1248w: dimension不會變多
→ chang1248w: score計算成本才會隨著square of receptive field
→ chang1248w: 增長
→ majaja8787: 感謝您，雖然我這邊還是沒有很懂.. 因為我對nlp研究比
→ majaja8787: 較多，對cv其實不太了解，可能我再多看一些基礎的知識
→ majaja8787: ..
→ chang1248w: 就像nlp裡面的transformer，你序列拉長qkv計算成本增
→ chang1248w: 加但參數量不變
→ majaja8787: oh ok!我知道了，感謝您
→ yoyololicon: 這邊的參數指模型自帶的參數 QKV矩陣不是
推 OnePiecePR: 2. 基本上 self-attention，的輸入經過幾次網路轉成
→ OnePiecePR: QKV，所有的參數都在形成 QKV 前發生了。所以所有的
→ OnePiecePR: 輸入都要做 QKV 轉換。然後有了 QKV 後，我們會去做
→ OnePiecePR: self-attention，這時候的 self-attention 都是數學
→ OnePiecePR: 定義計算，沒有參數。如果一個 self-attention 沒有
→ OnePiecePR: 全域 attent，而有 receptive field，這時候如果 rec
→ OnePiecePR: eptive field 比較小，只是 self-attention 少一點計
→ OnePiecePR: 算，這些都是關於計算量，跟參數無關。
→ OnePiecePR: 1. CNN 的卷積功能參數是記錄在 filter 的內容，所以
→ OnePiecePR: 只跟 receptive field 有關。我們常常說，參數量跟 r
→ OnePiecePR: eceptive field 的大小平方成正比。正確來說是：與re
→ OnePiecePR: ceptive field 的大小成正比。比如 filter 是 (3, 3)
→ OnePiecePR:  就是守 3x3 的範圍，(5, 5) 就是守 5x5 的範圍。所
→ OnePiecePR: 以是跟 “邊” 成平方比例，或尺寸 9、25 成正比。標
→ OnePiecePR: 準 CNN 卷積層的參數量是 （輸入層數 x L x L x filt
→ OnePiecePR: er 數量 N + filter 數量），當我們用了 （L, L）的
→ OnePiecePR: filter.