[請益] AMD395+跑AI到底合不合適呢

[clovermars (ccmail)]

看到AI大熱

 本來想說買一張5060TI 16G  換掉3060TI(I5 11400 32G)
來當自以雲端AI伺服機，可是雖然5060TI 夠強
但記憶體就16G 似乎20B都不能跑
但感覺要長期開又很熱  之前對岸395 配128G 感覺又太多  本身能跑 但是跑不動
最近在看 又看到 极摩客极摩客EVO X2特價阿 64G版本 1T+2T 不用五萬
感覺好超值 突然覺得有CP值了 大概模型大小可以大個1.5~1.6倍
請問AMD 跑AI  有經驗的各位可以分享嗎  手好養阿

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.171.22.86 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1755079669.A.9F8.html
→ linzero: 沒用過，是聽說GPU的DDR7速度比較快，這
→ linzero: 種共用、統一記憶體的應該是DDR5？適合大
→ linzero: 參數模型，但相對GPU計算速度是慢了點
推 hidexebih: 395好像比較適合LLM
→ soulgem: lpddr5x,大模型好,像之前gpt-oss-120b...
→ soulgem: 不過 gpt 扔出來體驗跟之前的不一樣...
→ commandoEX: 不建議，395現在只有BETA驅動+平台
→ commandoEX: 然後記憶頻寬不知道為何實測只有理論
→ commandoEX: 的一半
推 jior: 395就是一個只有記憶體容量大的東西而已，3
→ jior: 85還比較均衡一點
推 jkiu: 一點都不超值，偏貴，但它是你目前除了Mac m
→ jkiu: ini/studio外跑同時多個中小型或一個稍大一
→ jkiu: 點的MOE模型的選擇
推 a71245969: LLM可以，跑圖影很勉強
推 lordmi: 我前面說過了395+只適合學校批量採購讓學
→ lordmi: 生做作業。什麼用途都能用，都不快，生產
→ lordmi: 力幾乎等於零。32+96有些模型進去會閃退
→ jkiu: 總之就是偏貴+頻寬不夠大，amd的原生roc支援
→ jkiu: 跟垃圾一樣，就賣你一個amd之後修好roc問題
→ jkiu: 後可能會變快的夢想
→ Supasizeit: 應該跑得比5090 swap還慢
→ labbat: 這種的不就是串聯很多台丟冷氣房架伺服器
→ labbat: 用的嗎 熱量低效能高就像hp的G1a系列
推 oppoR20: 學校批量採購 你也太看好學校了
→ oppoR20: 都馬是台銀共約點一點 到現在標準還是8g
→ oppoR20:  ram的套裝機
→ oppoR20: 這種東西量少 更不可能大量採購
推 xylophone135: 頻寬太低是硬傷
推 jkiu: 多台跑一般server服務不會用到這個，llm要頻
→ jkiu: 寬，多台效能1+1=0.5
推 s78513221: 學校跑這個不如學AppleMLX
→ vsbrm: 除非需要用到大顯存(超大模型或是同時跑數
→ vsbrm: 個模型)要不然不建議395
推 qwe753951: 沒錢的話也沒什麼好選的
→ qwe753951: 小小一台還蠻方便的，不過軟體還是不行
→ qwe753951: 啊
推 s78513221: https://i.imgur.com/aLFoBup.jpeg
→ s78513221: 零刻也出了一台
→ scarbywind: 賭蘋果的搞不好還比較有前景
推 jeff85898: 跑推論效能ok啊 AMD有發一篇demo gpt-o
→ jeff85898: ss 120b(fp4) 大概30t/s
→ jeff85898: https://tinyurl.com/37tzkz7y
推 Pixmi: 我用9070XT在WSL跑SDXL 一張1536x864的圖跑
→ Pixmi: 兩分鐘左右，給你參考
→ jeff85898: 但有本地跑模型需求通常都是需要客製化
→ jeff85898: 吧 這效能也不夠微調模型挺尷尬的 不如
→ jeff85898: 就直接call API
推 ALuBa13: 395的優點就是如果你有「本地」的需求，
→ ALuBa13: 它是目前個人用戶能入手的選項裡相對低成
→ ALuBa13: 本的(以vram容量來比較)，NV的vram貴森森
→ ALuBa13: ，要買到夠大的容量所費不貲，Mac也是差
→ ALuBa13: 不多的情況，vram容量是LLM的第一道最基
→ ALuBa13: 本的門檻，容量不夠大裝不下就連跑的資格
→ ALuBa13: 都沒有，就不用考慮速度的問題了。但它最
→ ALuBa13: 大的弱點是AMD的rocm很不好用，不像NV的c
→ ALuBa13: uda很方便，想用這台跑ai真的就是只能賭A
→ ALuBa13: MD以後能把rocm改到好用，頻寬速度的都是
→ ALuBa13: 其次；單純只看紙面參數規格的話我也是對
→ ALuBa13: 這台很有興趣，但上網查了一些網友對rocm
→ ALuBa13: 的評價之後就退縮的保留狀態了....
推 qwe753951: 他vulkan跑的比較快，ROCm蛋雕
→ labbat: 不否認需求啦，只是倒退50年前的電腦也是
→ labbat: 工作站電腦邁向個人電腦
→ labbat: 然後是IBM PC-XT個人電腦以後的趨勢至今
推 EYESOFDARKKE: 不急的話，等DGX Spark再一起評估
推 Ceferino: 只適合跑MoE架構的LLM吧，記憶體頻寬不
→ Ceferino: 夠能跑但龜速你也不會想用，這種東西一
→ Ceferino: 定是一分錢一分貨，真的高CP肯定掃盤不
→ Ceferino: 用問都知道去搶
推 CGary: AI395只有跑超大的LLM有點用 炒高就不值了
推 hidexebih: 玩AI一個很實際的觀點是，以進出價格來
→ hidexebih: 看，顯卡的使用成本比較低，395不好說
我也是覺得應該會有很多實際使用的阻力
只是 64G版本 (割32G給內顯) 單顆M2的話現在不到四萬五
才會問問 的 畢竟5060TI 16G+整台其他的 應該很容易超過四萬五
395 應該算降頻版的9950X
※ 編輯: clovermars (118.171.22.86 臺灣), 08/14/2025 00:20:48
→ spfy: 就9955HX(9950X的筆電版)+近4060超大內顯
→ spfy: +可以任意分割75%記憶體當VRAM的神奇產物
→ spfy: 我很想買但好像用不到 定位真的很神奇
→ spfy: 想試可以先找370HX+64G的裝置借來玩玩看
→ spfy: 看看符不符合你想玩的念頭(實用性就算了吧)
→ cutejojocat: 要跑就直接128G吧 能跑oss120b
推 dos01: 這東西就除非你有很強的除錯能力 再加上要
→ dos01: 很強的找解決方案的能力 知道怎麼用那些
→ dos01: 社群去問 不然就多花點錢去買N卡就好
→ dos01: 不用這樣搞自己
→ dos01: 真的要有實用性 也是等個幾年之後 高手搞出
→ dos01: 個懶人方案 可以動手指點點就用再說
推 wsdykssj: https://youtu.be/DXh6uoQeezI&t=416
推 s78513221: 看比較下來就是NPU都在偷懶XD
推 gameguy: 有錢富哥的玩具
推 lordmi: 想便宜入手又不需要發票的，洋垃圾和雙路
→ lordmi: X99再收幾張3080礦卡能做更多事，有財力有
→ lordmi: 機櫃的直接買正經伺服器，要開發環境完整
→ lordmi: 就macstudio  消去這些市場之後，395也就
→ lordmi: 只能讓預算上不去又要發票還沒有機櫃只有
→ lordmi: 時間太多的學校採購了，不然誰會買這個
推 Baternest: 就自用的玩具 不缺錢可以入手當白老鼠
→ lordmi: 本地模型頂多裝Q2Q3量化幻覺多而且還慢
→ commandoEX: 現在AI只能從NPU CPU GPU選一個調度
→ commandoEX: 所以叫GPU做事NPU就會擺爛
推 shasen1236: 沒錢又需要大VRAM就選這個阿，Linux
→ shasen1236: 不就是這樣走來的
推 mtc5566: 5060Ti 16G選華碩DUAL技嘉WF這種陽春卡
→ mtc5566: 不貴吧 再次也還有PNY 4060Ti 16G可以拿
→ mtc5566:  N卡貴不是沒道理 CUDA人人都說好用
噓 kkes0001: 答應我，沒錢不要玩AI
推 Shinnher: 共享記憶體是它優勢，應該直上128G吧？
→ commandoEX: 共享記憶體(X)超大顯示記憶體(O)
→ tint: 等5070TiS 24GB或是5080S 24GB來降頻降壓跑
推 Litfal: 看你跑什麼 生圖不必 大語言大模型比較聰
→ Litfal: 明 但還是有點慢要等
→ niburger1001: 要生產力就是n卡 大vram 別找自己
→ niburger1001: 麻煩
推 NoyVaughty: ROCm 7.0 可以期待一下
→ NoyVaughty: 各家大廠已經買了MI系列的硬體了，軟
→ NoyVaughty: 體自然會跟上
→ NoyVaughty: 不然等著被客戶罵翻