※ 引述《h0103661 (單推人) 每日換婆 (1/1)》之銘言
: 公測一天了明天發布
: 原生多模態
: 然後速度超快，幾乎都在400tps左右，甚至有600+
: 遠比其他AI包括現在的ds快好幾倍甚至十倍
: 這不太正常，以前只有擴散模型或特製硬體能做到
: 難道真的華為晶片發力了？
: 看別人跑分比4 pro還有glm高
: 我用起來沒啥區別，可能是我寫的東西都不難
開源了，公布答案
新的解碼系統：prefill只要一半參數
新的查表系統：engram提供能快速調用的額外參數
新的注意力系統：1M上下文只要800MB
整體模型從284B提升到552B
但速度不減反升
這有點厲害
而且api又降價了，-60%
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.89.111 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Marginalman/M.1789025083.A.4E4.html