[菜單] 200K以內跑AI主機

[etu7912a48 (你好啊旅行者)]

已買/未買/已付訂金（元）：未買

預算/用途：跑本地小型LLM(約7~32B)

CPU (中央處理器)：AMD R9 9950X
MB      (主機板)：微星 MAG X870 TOMAHAWK WIFI
RAM     (記憶體)：UMAX 雙通32GB DDR5 6000/CL30 兩條
VGA     (顯示卡)：微星 RTX5090 32G GAMING TRIO OC
Cooler  (散熱器)：貓頭鷹 NH-D15 G2
SSD   (固態硬碟)：鎧俠 KIOXIA EXCERIA G4 1TB GEN5 PCIe 5.0
HDD       (硬碟)：
PSU (電源供應器)：Montech TITAN PLA 1200W
CHASSIS   (機殼)：Montech SKY 3
MONITOR   (螢幕)：
Mouse/KB  (鼠鍵)：
OS    (作業系統)：

其它      (自填)：
總價 (未稅/含稅)：179209

部門最近支持做一些AI相關的，打算搞個本地LLM。不過自己配裝電腦的經驗很弱，大約看
了一下版上的文章加上GEMINI推薦配置的，不知道有沒有不合邏輯的地方?

另外我知道顏色搭不起來，不過想說都放在實驗室就沒差了

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.125.82 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1774502807.A.246.html
→ Zenryaku: 電源買這個還不如LeadexVIIpro
→ Zenryaku: 你外觀沒差的話買海景殼要幹嘛
→ Zenryaku: X870要買不如買X870E才不會被亂七八糟
→ Zenryaku: 切通道，或是拿可以拆分x8x8 的主板這
→ Zenryaku: 樣以後想擴充還能多加一張卡
推 bigbaixiong: 硬碟那邊要再加吧 你只玩一個模型嗎X
→ bigbaixiong: D
推 dsin: 32G+32G vram 能搞什麼有用的本地llm?
→ moonlightz: 建議ram搞到128G
推 lordmi: fp16應該可以全塞到32VRAM裡，還行
推 nasa01: 9950到底會不會燒啊？
→ necrophagist: 只是跑7-32b語言模型這很夠了 但你
→ necrophagist: 沒要做計算heavy的事(算圖/算影片/
→ necrophagist: 訓練) 統一記憶體方案ex：mac 可能
→ necrophagist: cp更好 能跑更大的模型
→ pickroll: 主板顯卡都微星了 電供也換個MAG A1250G
→ pickroll: L PCIE5吧 到時候保固也好處理
→ Zenryaku: 這款庫存很多是不是 沒優點還一直洗
推 rickylin: 等M5 MAX 128G Mac Studio
→ rickylin: 32G + 32G Vram 的大模型有點不夠大
→ rickylin: 如果以M3 Ultra的價格來看，256G RAM
→ rickylin: 都有可能在你的預算內達成
→ rickylin: 建議多去問一下AI用MAC統一內存方案優點
→ rickylin: M5系列在每一顆GPU內加入神經網路晶片
→ rickylin: 加上統一內存可以顯卡分享主記憶體
→ rickylin: 本地LLM還是要考慮大模型要足夠聰明
→ rickylin: 太笨的大模型弄了也用處不大
→ takanasiyaya: 32B小模型不夠專業用途吧？你都開
→ takanasiyaya: 到20w了不如買M5 max ，保證比你買
→ takanasiyaya: 單張5090強，啊如果你只要小模型還
→ takanasiyaya: 可以回去買M4max
推 lordmi: 小型到中型模型，5090稍微快一點。大型語
→ lordmi: 言模型 ，Mac Studio 記憶體夠用時甚至比
→ lordmi:  5090 還快
推 mqhung: 問Gemini還是會比較推5090
推 YCL13: 建議先想好你想怎麼跑LLM，因為除了5090外
→ YCL13: ，你選了高階CPU，那意味著你想用offload，
→ YCL13: 但你的RAM又不多(是32還是64呀？)
→ tuwile: gen拿金士頓G5系列 機殼拿903MAX就好
推 mqhung: 目前想等MAC studioM5版，只好繼續等。
推 rickylin: 我在等mac mini m5 pro 48G or 64G
推 mtc5566: 要拿X870E就技嘉AORUA PRO微星TOMAHAWK吧
→ mtc5566:  而且你要拿64G記憶體變成沒組合可以湊
→ mtc5566:  超虧