推 Supasizeit: 可以拿karpathy的code來實驗看看 02/21 17:30
→ galaxy4552: 好 近期會試試 02/23 07:51
覺得這篇很有趣 剛好在做模型的PCA實驗
而我score也許可以觀測梯度
但梯度這個詞有空間上的導數與方向場
只能說做了一個勢能
score=α*base +β*Δfield
Δfield = global potential / bias
β 控制 沿 potential 上/下坡
α 控制 相似度吸引/排斥
---
α=1 β=0
https://meee.com.tw/ZwlvHfg
是什麼就是什麼 或接近什麼
---
α=1 β=1
https://meee.com.tw/HQ6jnhM
模型開始找意思 句子長的情況下幾乎被"意思"霸版
---
原本只做上面兩個 看到這篇文章後才做了這個
α=1 β=-1
https://meee.com.tw/3Pi0NyD
字詞中已表達最強烈的意思?
還是說是 已經有強烈意思 不用有生成方向?
又或者是說 意思已經足夠 不太需要生成?
又或者是說 不用生成 因為意思足夠了
可愛的愛 被往上提
愛與恨的恨 被往上提 且痛恨 憎恨也都從向量底下撈出來
β<0 等於抑制全域勢能 head，使排序更依賴 query 本身的局部語義吸引。因此，在組
合詞中，最強語義成分（愛、恨）會浮出
---
這個我參數設錯 但結果好像有點有趣
α=-1 β=1
https://meee.com.tw/pEefbxd
模型在"毀滅"這個詞開始在找意思了 (反相似度檢索)
α<0 使系統刻意遠離 query 的語義吸引，再加上 β>0 的勢能偏置，會拉出語義最遠但
Δfield 高的 token
不知道有沒有說明為何prompt可以觀測負空間到這件事
也許Δfield升級成向量場且是做出來時就是梯度了
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.73.51.159 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1771662379.A.B19.html