看板 Marginalman 關於我們 聯絡資訊
Google TurboQuant 記憶體壓縮突 Google 推出新 AI 記憶體壓縮演算法 TurboQuant,可將 AI 的「工作記 憶體」壓縮高達6 倍。 哇靠真假,這樣本地跑超大模型,的日子是不是要來了 挖苦挖苦 -- https://imgur.com/ND9GK2l.gif
-- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.179.170 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Marginalman/M.1774486077.A.8B2.html
lovez04wj06: 期待 03/26 08:49
windowsill: 樂見其成 03/26 08:50
mayolane: MU跟SNDK跌超多 03/26 08:50
pchooooome: 拜託早點那個 03/26 08:51
F16V: 錢包也壓縮了 03/26 08:52
pchooooome: 親情厚了 03/26 08:53
Excrement35: mu藥丸:( 03/26 08:53
sustainer123: 這一年前的論文 對啊 03/26 08:55
pchooooome: 真假 那不用記憶體焦慮了 03/26 08:56
dog41125: Gimini沒開源可以本地嗎 03/26 08:56
pchooooome: 看咕咕嚕說驗了3個模型 可以套用所有模型 03/26 08:58
h0103661: 這個是量化3bit,量化技術早就很普及了,要1bit都可以 03/26 08:59
h0103661: ,直接16倍壓縮,他只是聲稱他的量化幾乎無損 03/26 08:59
surimodo: 難吧 量化通過基準測試很簡單 但實際用起來就是一坨 03/26 09:03
pchooooome: 真假 他的量化還是會白痴喔 咕咕嚕騙我 03/26 09:04