[請益]兩個改裝方案跑本地LLM

[newyorker54 (紐約客)]

先說我的配備
CPU AMD RYZEN 9950
主板 ASUS CROSSHAIR X870E HERO
RAM Kingston furry beast ddr5 5600
32g x2
crucial pro ddr5 6000 32g x2
共128g
ssd 美光 T500 2tb
顯示卡 GIGABYTE GAMING OC 5090
GIGABYTE 4070TIS 16G
共48G VRAM
兩台螢幕用舊的不算錢
跑 GPT_OSS 120B 慢但可接受
QWEN 30B_A3B慢可接受
Deepseek 70b 更慢比gpt-oss 120b 稍快

這塊主板最高記憶體只能加到192gb，
現在128，
vram 現在48gb
因為LLM架在ollama下所以在VRAM不夠時例如在跑OSS 120B模型它會自己調用主機記憶體，速度有變慢，尤其是High thinking模式時，但是這塊板子只能插兩張顯示卡，，如果要順跑120B高思考模式，是換主板再加一張16g或32g顯示卡變成插三張卡或是換掉16g顯示卡改插rtx pro 6000前者是不是C/P值比較高？
後者成本太高，會不會兩個方案跑起來差不多？

-----
Sent from JPTT on my Samsung SM-S7110.

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.116.98.194 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1770777269.A.022.html
※ 編輯: newyorker54 (140.116.98.194 臺灣), 02/11/2026 10:35:38
推 w1222067: 都有預算6000了 還需要想嗎
推 pphyy5844548: 我覺得東西一多問題比較大，換pro
→ pphyy5844548:  6000
推 lordmi: 半年前問的話你還有X99並聯主板加3090魔
→ lordmi: 改卡x4這個選擇，現在就不用想了
推 GenShoku: 你只卡在120B的話6000還行，不然直上大
→ GenShoku: 容量mac比較實在
推 yymeow: 問題在於原PO是要跑得起來還是跑得不慢
→ yymeow: 跑得起來，用多張顯卡加上GPU layer off-
→ yymeow: load是可以上去，但是會卡PCIe還有卡對卡
→ yymeow: 傳輸瓶頸。若是要順還是要上6000的卡，或
→ yymeow: 是找統一記憶體的mac mini或GX10
→ yymeow: 公司用一律上6000的卡，個人的話可以用統
→ yymeow: 一記憶體的解決方案
推 patvessel: 層數分割其實對於pcie頻寬的要求很低
→ patvessel: 只要能塞進vram 傳輸的只有中間值就算
→ patvessel: 是礦機板都可以跑的起來
→ patvessel: 只有初次載入會比較慢
推 yenchieh1102: 光華在海鮮上了一堆運算卡，你去看
→ yenchieh1102: 看，我剛看到一個VRAM 72G的鬼東西
→ yenchieh1102: 還比pro 6000便宜
→ patvessel: 真正的推理的瓶頸還是在vram頻寬
→ patvessel: 反而是統一記憶體的方案大多會在預充填
→ patvessel: 階段帶來顯著的落差
推 eddy13: 5090跑30B A3B應該很快吧
→ newyorker54: 所以請問mac studio 會優於pro 6000?
推 patvessel: 不會 頻寬和算力都有落差
→ patvessel: mac 比較像是想省電省空間的權衡方案
→ patvessel: 單論性能可能還不如你直接塞第三張卡
→ patvessel: 依我個人立場來說的話
→ patvessel: 現在這個狀況想初期省錢就塞第三張卡
→ patvessel: 可以兼顧效能和短期錢包
→ patvessel: 缺點是供電和排熱環境可能要一起整理
→ patvessel: 願意多花錢又想追求效能那就上6000
→ patvessel: 如果要極致的省空間和省電才選擇mac
→ patvessel: 但同時犧牲了核心算力效能頻寬 和生態
→ patvessel: 成熟度
推 lordmi: 哪個更好取決於你的工作重心在哪 如果是
→ lordmi: 訓練10億個tokens，pro6000理論上快7倍。
→ lordmi: 如果是推論 最大512gb的studio 比 96gb的
→ lordmi: pro6000有用很多
推 agnme2: 5060ti*3+256gb quad _ddr4 2933路過
推 patvessel: lordmi說的有道理 我的說法是根據原PO
→ patvessel: 開出的模型清單給的建議 如果想用更大
推 agnme2: 重點應該在用途，跟能忍受的速度與智商之
→ agnme2: 間均衡取捨，有錢的話就沒差直接買h200_xd
→ patvessel: 的模型那前提自然不成立 可以考慮MAC
→ patvessel: 但是120B的狀況下 是用不到512GB的統一
→ patvessel: 記憶體的
→ patvessel: 而要是真的用到512GB的大型模型的話
→ patvessel: MAC的頻寬又會限制推論速度
→ patvessel: 那就又回到一開始的問題了 跑得慢
推 patvessel: 花了更多錢 跑了更大的模型 但是跑得一
→ patvessel: 樣慢 可能不是原PO想要的吧
→ vsbrm: 先提預算再來講效果
推 jychu1132: 不爆VRAM的話PRO 6000 CP值最高
→ promaster: 不計較預算就mac studio 512GB買齊
→ promaster: 然後賣掉你現在這套貼補回mac studio
→ promaster: 絕大部分llm你都能跑了
→ promaster: 速度怎樣是另外一回事
推 GenShoku: 現在一堆模型都有flash版，速度其實也不
→ GenShoku: 會差到不好用，但Mac統合記憶體的超大ra
→ GenShoku: m就是直接決定你可以使用的模型上限跟上
→ GenShoku: 下文長度，你如果沒那麼在意速度，以後
→ GenShoku: 又想跑像step 3.5這類超大模型(192B)，
→ GenShoku: 直上Mac Studio(256G應該就夠用)會是比
→ GenShoku: 較實際的選擇
推 jeff85898: 不用換主板 現在Pcie 5.0 x16頻寬很夠
→ jeff85898: 用的
→ jeff85898: 你這張板子有兩組 上拆分卡 可以裝4卡P
→ jeff85898: cie4.0x16不損效能
推 Shigeru777: 很執著要跑 GPT OSS 120B的話 直接買
→ Shigeru777: 個 Mac Studio 256GB 實在
→ jychu1132: PRO 6000用llama.cpp跑gpt-oss-120b:
→ jychu1132: https://i.imgur.com/GogqKto.jpeg
推 saito2190: 你要跑120那就直接買GB10的東西
→ saito2190: 看是NV的Spark還是ASUS GX10
→ saito2190: 速度不會是最快 但絕對夠用
→ saito2190: 如果真的要速度也不要用ollama
→ saito2190: llama.cpp簡單易用 快10%以上
→ saito2190: 如果願意花時間學再去搞vllm
→ saito2190: MAC體系用EXO或MLX應該比較好
→ saito2190: 但我沒研究過
推 s78513221: 窮人如我，120b接OpenRouter就好
→ s78513221: https://i.imgur.com/T2Gh2Kb.jpeg
推 patvessel: 我是真的看的一頭霧水 現在原po都說問
→ patvessel: 題不是跑不動 是速度太慢才想升級 怎麼
→ patvessel: 這麼多人在說速度不重要先買mac ...
→ patvessel: 不止mac 統一記憶體的東西頻寬上限就在
→ patvessel: 那邊 要買當然可以 但是那都是權衡和取
→ patvessel: 捨
→ patvessel: 真的要便宜連spark或GX10都不用 買個ry
→ patvessel: zen al 395+ 128g就好了
推 GenShoku: 沒有看不懂啊 原po不都在文內說慢可接受
→ GenShoku:  就代表原po是有一定程度的耐慢能力 不
→ GenShoku: 需要字串用噴出來的速度 所以回答原po只
→ GenShoku: 跑120B可以挑6000沒錯 但如果未來想跑更
→ GenShoku: 高等級的模型就考慮mac 有啥問題? 而且M
→ GenShoku: 5也會把記憶體頻寬大升級 還有神經加速
→ GenShoku: 你除非要玩訓練或是對速度真的有非常敏
→ GenShoku: 感的要求那選N卡ok 但未來還想往更大的
→ GenShoku: 模型去玩 裝不裝的下就會是重點考量項目
→ GenShoku: 啊
推 GenShoku: amd的AI生態我不敢亂推就是
→ GenShoku: https://youtu.be/Adliwsf2oPE 原po可以
→ GenShoku: 參考這支影片，我覺得這位有把目前主流
→ GenShoku: 本地玩法的比較都講得蠻清楚的
→ patvessel: 總之我就先從原po 的場景下去講
→ patvessel: 模型oss120b 希望提升推論效率 單或低
→ patvessel: 併發
→ patvessel: 1.可能最便宜的方式 ：想辦法多接一張
→ patvessel: 顯示卡讓vram塞得下權重和kv快取 按照v
→ patvessel: ram頻寬速度比例適當分配層數讓不要成
→ patvessel: 明顯瓶頸（pcie頻寬只會影響初次載入模
→ patvessel: 型的時間 相對不重要 可能USB都可以）
→ patvessel: 弄模型分層跑管線
→ patvessel: 缺點：供電  散熱是大問題 要想辦法處
→ patvessel: 理  長期可能更貴 模型分層要自己調到
→ patvessel: 最佳方案
→ patvessel: 2.省事高效能的方案：直接買rtx 6000 p
→ patvessel: ro
→ patvessel: 記憶體頻寬直接衝上本世代消費級極限
→ patvessel: 推論效能和預處理都穩定  不用搞散熱和
→ patvessel: 供電 將來有擴充空間 可以塞第二三張
→ patvessel: 缺點：貴 想插第二三張更貴
→ patvessel: 3.提升較小但是戰未來的方案：統一記憶
→ patvessel: 體方案 包含mac GX10 strixhalo
→ patvessel: 統一記憶體至少會比現狀的swap地獄快一
→ patvessel: 點 但是性能提升會遠不如同等級的上述
→ patvessel: 兩個方案 優點是如果將來有更大的模型
→ patvessel: 可能可以用更慢的速度跑