※ 引述 《sustainer123 (溫水佳樹的兄長大人)》 之銘言：
:
: 今年門控那篇
:
: 好屌喔
:
: 概念簡單而且實作簡單
:
: 一個小操作就有不小進步
:
: 我就喜歡這種文章
:
: 就是residual那種類型的 很讚
:
測試了一下
他的實現不難
就sdpa加個sigmoid跟可學習門控參數
我拿去測試vit
目前效果不佳
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.136.239.226 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Marginalman/M.1765952719.A.FC7.html