Re: [菜單] 80K 超輕度AI+遊戲機 -本地佈署LLM的需求

[bhmagic (BH)]

※ 引述《lordmi (星宿喵)》之銘言：
: 最近看很多人想玩本地LLM，稍微聊一下10萬預算顯卡怎麼組比較好
: 前提條件先設在部署 FP8 格式、體積較大的 27B 級稠密模型。基本上真要有
: 生產力的模型都大於這個起跑線，低於這個規模先不談。


十萬玩LLM 答案很明顯就只有統一記憶體架構阿..

128GB 統一記憶體架構的miniPC 現在大概就是十萬多

FP8 > Vulcan api> llama cpp 直接可以硬幹200B左右的模型 雖然速度大概會想睡覺

但是這個範圍有新千問這種密度超高的好模型 高智商的

真的DIY靈魂爆發 爆改一下散熱

(雖然大部分瓦數被鎖死根本拉不上去 但是可以變安靜一點 還是有點樂趣的)

這都是今年LLM的標準答案了 可是這個版很少人玩 可以參考一下

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 99.118.209.229 (美國)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1785926625.A.D46.html
推 kira925: 現在好像還沒有Strix Halo + dGPU的方案
→ scarbywind: 因為你也打不出商品名
→ scarbywind: 目前大概只有蘋果跟對岸
→ scarbywind: 還有NV出的DGX
→ bhmagic: 對 沒打出商品名就是因為大部分要美亞
→ bhmagic: 對岸那邊的我不清楚 我主要看北美
→ bhmagic: 如果要現在買上一代的 可以看GMKTEC
→ bhmagic: 或者framework desktop
→ bhmagic: Al Max+ 395 系列的
推 cannedtuna: 華碩z13也是395+128g 十萬內還送螢幕
→ bhmagic: 那台有個小島秀夫聯名 差點沒忍住 冷汗
推 s78513221: DGX我覺得可惜在消費級玩法生態吧
→ seemoon2000: DGX重點是可以NVLink
推 visa829: 要Strix Halo + dGPU的可以找對岸oculink
→ visa829: 方案看看
→ iceyang: 這種10w+機器台灣難找 啟動怕出保麻煩
→ iceyang: 海鮮賣的基本也都是從對岸淘來的 價格先
→ iceyang: 多兩成 保不保固還很難說
→ spfy: Z13 128G 之前一直卡在95K  沒繼續漲也還有
→ spfy: 貨 很神奇 當初是怕體積太小+液金長期會有
→ spfy: 問題所以沒買 現在看是沒了
→ slein: DGX要搭配什麼model比較能有真正生產力？
推 cannedtuna: Ornith蠻好用的
推 GenShoku: 單台dgx spark其實有點尷尬，這個階段最
→ GenShoku: 強的model是qwen3.6 27b的Q8量化(以及各
→ GenShoku: 種魔改版)，還有下週要開源的3.8 27b，
→ GenShoku: 但dgx spark本身因為記憶體帶寬限制超不
→ GenShoku: 適合跑dense模型，速度極慢(20tok/s左右
→ GenShoku: )，再次就是35B a3b，這顆跑得很舒服，
→ GenShoku: 但穩定度沒27b高，而且也不需要dgx spar
→ GenShoku: k來跑，如果要大知識量的chatbot話也能
→ GenShoku: 玩玩deepseek v4 flash 0731 Q2量化，但
→ GenShoku: Q2量化你就別指望他能幹什麼正經活了
→ GenShoku: 目前本地最強解是雙dgx spark或mac stud
→ GenShoku: io 256G，直接裝DSv4flash，除了沒多模
→ GenShoku: 態外幾乎可以說是完美解
推 dsin: 但mac 256G現在已經沒有新貨 不知要等多久
推 moonkuma: 如果不是公司或私人開發還有生產瑟瑟的
→ moonkuma: 東西，這種統一模型的機子定位很尷尬，
→ moonkuma: 除了已經炒到天價跟線上模型比，線上比
→ moonkuma: 他快比他聰明，就算用幾年的api費用還比
→ moonkuma: 買他花費少多了
推 GenShoku: 但就是因為有破甲跟資料私有化需求，本
→ GenShoku: 地模型才一直有人寧可花數十倍百倍的金
→ GenShoku: 額在玩啊
推 GenShoku: 還有穩定性，不會新模型出來給你爽一個
→ GenShoku: 禮拜後就直接降智到下次新模型發佈
→ slein: 穩定性是我考慮使用本地LLM的主要考量，要
→ slein: 能穩定產出結果才能讓優化流程得以發揮
推 takanasiyaya: 因為顯卡可以跑的27B31B一直有更新
→ takanasiyaya: 進步，128B級別的反而沒在進步，而
→ takanasiyaya: 往上比1750B那種只能專業機架跑的又
→ takanasiyaya: 差太多
推 GenShoku: 突然想到還有step 3.7 flash這顆，可以
→ GenShoku: 跑Q4低上下文或Q3高上下文
→ labbat: 不喜歡spark 的散熱機構 迷你主機應該像
→ labbat: 長型銘凡g7或極摩客x3的大風扇比較耐用
→ labbat: 小方盒解熱能力有限，效能無法拉高
推 skywgu: 花10萬去opencode go接DSv4flash的api回
→ skywgu: 來玩可以玩好幾年吧…
→ skywgu: 我5090也就專心在Comfyui 幹活而已
→ skywgu: 其它養蝦養馬的事直接線上解決，又快又舒
→ skywgu: 服
→ skywgu: 另外OpenAI 也推出5.6 luna 不限次數文字
→ skywgu: 聊天…
→ skywgu: 沒有隱私需求真的不必要搞10萬來跑llm …