→ greensaru: 中共同路人+1 101.10.106.82 06/20 17:31
推 shala: 不反中國無以愛台、無以掩飾無能 72.52.87.95 06/20 18:04
推 mapleleaf052: Super Idol 的笑容都没你的甜 39.12.168.133 06/20 18:53
餓死抬頭，阿肥外商碼農阿肥啦！
之前每次中國AI模型發佈總是會有一票人在那邊說蒸餾美國模型，但是如果在機器學習領域
內的就知道要做到理論上的知識蒸餾一定要透過一些非外部API的手段取得模型真實的分佈
才有辦法做到蒸餾出跟原始模型一樣好的模型，不然你怎麼做訓練根本就做不出來跟原始模
型一樣甚至更好的模型，最多就只是風格轉換跟狹窄領域的講話風格遷移而已。
其實如果真的有在看相關論文文獻的都知道中國的模型在中文領域就包含token的使用效率
還有中文推理能力表現行為都跟美國模型完全不一樣。要說是蒸餾根本不可能，最多要蒸餾
就只是針對狹窄領域蒸餾一點而已，但也沒證據表明真的有蒸餾痕跡。
現在Redis之父antirez也站出來說出事實從技術理論上就做不到，最多就是微調風格而已。
有迷有掛？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.218.148.18 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1781947508.A.73C.html