位置編碼

[sustainer123 (溫水佳樹的兄長大人)]

我就想說vit應該不用sin/cos

用1234固定編碼就好

原來attention is all you need是sin/cos

vit那篇是1234

不過也有cv的vit用sin/cos

實驗一下看有沒有改善 姆咪

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.136.91.221 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Marginalman/M.1764238040.A.50C.html
推 chuegou: 還以為是格雷碼