Re: [菜單] 10K以內AI機

[iammatrix (母體)]

※ 引述《museangel (敲敲)》之銘言：
: https://www.reddit.com/r/LocalLLaMA/comments/1ke3heg/how_is_your_experience_with
: _qwen3_so_far/
: 我看到reddit的上面這篇文，想借這串原文問個問題，
: 這幾天開源的llm qwen3-235b-a22b，
: 是不是真的也可以靠cpu跟128gb的ram跑起來，而且速度不算慢、效果也還不錯了？
: 一般這種上百b等級的llm，用一般消費級gpu就算5090也裝不下。如果用cpu跟ram，成本倒
: 是可以壓低得多，而且還有比較大的沿用性，不會像gpu每兩年換代折舊不少。
: 我平常只用gpu跑，沒試過cpu+ram，有沒有前輩有相關經驗，文章裡說到的這種cpu+ram的
: 跑法有沒有什麼地雷？

https://www.youtube.com/watch?v=1N6a46QqdhI

斯波圖最新影片有測試過了，用的是AMD AI MAX+ 395 的小型桌面機
相當的不錯，等於是建構了一個本地AI，有著無限TOKEN。

他把QWEN3的80G模型直接丟給主機的NPU+RAM去跑 全本地的運算
也不影響日常的工作，還能夠分派多重腳色給AI去幫忙執行計畫

https://www.gmktec.cn/product/5656/
最高可以運算96G的模型，主機最高125G 有著約90%左右的9950X性能
價格就超出預算，14999RMB，包含128G+2T SSD，比一張5090便宜就是。

https://www.youtube.com/watch?v=-1kuUqp1X2I
其他也有類似的產品 這台便宜些。

感覺工作上有大量需求+建構本地AI 需要隱私不連網的
這個應該是目前不買老黃顯卡的最優解了

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.171.35.19 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1752978492.A.D95.html
推 kuninaka: 14999還好，這是整台主機的價格 XD
推 lordmi: 395發售之後這種設計很多，可以多比價。
→ lordmi: 前面有一篇半DIY花費就壓在12k rmb。不過
→ lordmi: 老實說，395套裝適合玩玩或者學校採購，
→ lordmi: 到商用場景還是不上不下有很多限制
推 kuninaka: 要商用當然很難XD
推 kime5412: 不是「80G」模型，是「80億（8b)」，但
→ kime5412: 是說真的8b模型拿來聊天、總結文章還算
→ kime5412: 堪用，真的不能期待更多了
→ iammatrix: 不是8B吧? 8B還吃不到20GB
推 Supasizeit: 無限token 是三小
→ cutejojocat: 可惜就是大廠只有出筆電型態的