Re: [問卦] DeepSeek對行業市場的衝擊很大吧！

[bluebluelan (鈴谷のあまあま写生管理)]

你太腿了= = 你會驚訝有人把R1放在手機上測試

就代表你跟這個行業完全不熟= =

對於開源也很不熟


兩年前就有llama2, GPT2各種大小的模型隨你下載

在手機上頭跑我們只考慮你的model size 你是llama DeepSeek 還是阿薩布魯8.7都沒差

玩家土炮都會比公司快 因為不用在意用戶體驗 只是像是一個大學生專題等級的東西

會動就好


依照2025年的手機 緊繃能跑個4B這個大小的模型 用INT8 大概需要4GB的記憶體

如果是用INT4 大概對半 只需要2GB 一些關鍵的參數會用到Q5_0效果會比較好

但是一個AI模型佔用2GB記憶體有點誇張 通常比較適合的是100M~1B 這個大小的模型


像是R1 1.7B 用INT4 or Q4_1這種 大概900MB 對於現代的手機而言不是什麼問題

差別只有token rate而已



你用純CPU也能跑 甚至跑得還不差 完全夠自用

只是GPU更適合 因為同樣的耗能 token rate更高



你只追求會動 那什麼東西都行

追求不高的token rate 你的桌電就行

追求商業等級的token rate 目前只有GPU行



大概是這樣


: 當一堆人在炒DS抄襲 盜用 其實也用了五萬顆H100沒什麼了不起的時候
: 全球玩家已經有人試著把DS離線安裝在手機上測試
: 發現這東西真的可以大幅減少對硬體的需求
: 而且最可怕的是這東西還開放原始碼給大家使用
: 有人下載了671B到自己個人電腦建模
: 而這對市場整個行業的發展方向其實是很大的衝擊吧
: 有沒有這種開源給全球玩家去玩的八卦??

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 73.202.165.104 (美國)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1738397098.A.2DE.html
→ widec: 3060ti 4gb每秒10 tokens左右
→ SRNOB: 等等大師 你覺得股價會漲還是跌