→ smart0eddie: 大師 01/07 17:31
※ 引述 《sustainer123 (溫水佳樹的兄長大人)》 之銘言：
: : 先試試原版好了
: :
: : 搓一個跑看看再說
: :
:
: 魔改完成 參數量感覺會爆炸
:
: 但先試試:(((
:
: 明天看看能不能跑通
:
: 大致上就decoder改了一些
:
: 改接upernet
:
: encoder就沒差
:
: 畢竟NLP的transformer跟vit本質上沒差
:
: 而且model dim應該能設更小
:
: 這樣某方面來說應該能壓參數量
:
: 反正跑看看
:
改了兩個小部分
第一個是前面加上降維 看起來效果不錯
第二個是把token merge改成swin transformer的樣子
這個提升很多
有待繼續測試
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.136.82.186 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Marginalman/M.1767777967.A.E7C.html