[新聞] AI算力成本腰斬！AMD MI355X跑GLM 5.2

[thinksilver (銀白色的沉思)]

原文標題：

AI算力成本腰斬！AMD MI355X跑GLM 5.2 成本僅輝達一半

原文連結：

https://reurl.cc/3yrRj0

發布時間：

2026-07-07 04:44

記者署名：

鉅亨網新聞中心

原文內容：

隨著 AI 推理需求爆炸性增長，算力成本成為企業落地的最大痛點。近期，推理優化公司
 Wafer 公布的一組數據引發了 AI 業界的高度關注：在AMD(AMD-US)MI355X
晶片上運行最新開源模型 GLM 5.2，不僅實現了高效能表現，其成本更僅為輝達
(NVDA-US) 旗艦 GPU B200 的一半。

這項結果顯示，AMD 正逐步縮小與輝達在 AI 推理市場的差距，也讓外界重
新審視 GPU 市場長期由 CUDA 生態建立的競爭優勢。

測試顯示，MI355X 在執行 GLM 5.2 時，單節點聚合吞吐量達每秒 2,626 個 token（
tok/s），單流吞吐量則達每秒 213 個 token。在效能方面，約可達到同級輝達旗艦
 B200 約八成水準，但部署成本卻不到 B200 的一半。

消息公布後，立即引發開發者社群高度關注，相關討論也迅速登上 Hacker News 熱門排
行榜。

Wafer 表示，這次部署並非依靠特殊硬體，而是透過一系列軟體最佳化完成，
包括模型量化、推理引擎選擇，以及多項相容性修正與效能調校，讓 AMD GPU 能充分發揮
推理能力。

量化技術兼顧效能與精準度

在模型最佳化方面，Wafer 使用 AMD 官方 Quark 工具，將模型權重由 BF16 量化為
 MXFP4，以降低運算資源需求。

根據測試結果，量化後模型在多項基準測試中的準確率僅有輕微變化，部分測試甚至較官
方量化版本更佳，代表壓縮模型後仍能維持相當程度的推理品質。

推理引擎方面，Wafer 比較了 vLLM、ATOM 與 sglang 三種方案後，最終選擇 sglang。
原因在於前兩者無法同時兼顧量化效益與長文本輸出品質，而 sglang 則能維持模型輸出
的穩定性，成為此次部署的主要推理平台。

修補細節 推理速度大幅提升

在完成模型量化後，Wafer 又針對推理流程持續優化。其中最大的挑戰來自 ROCm 平台對
投機解碼（Speculative Decoding）的支援不足。

團隊發現，共享專家層命名方式與 sglang 使用的命名規則不同，導致模型載入失敗，透
過修正命名後，單流吞吐量便大幅提升近三倍。

此外，另一項問題來自程式碼直接引用 CUDA 標頭檔，導致 ROCm 編譯失敗，Wafer 僅透
過加入編譯保護即可解決。之後再調整平行運算方式，以及手動指定適合 GLM 5.2 專家
層的 Kernel，最終將單節點聚合吞吐量提升至每秒 2,626 個 token。

測試採用接近實際生產環境的設定，包括 2 萬 token 輸入、1,000 token 輸出及 60%
快取命中率，首個 token 延遲控制在 2.22 秒內，整體成功率達 100%。

新創公司也能挑戰 GPU 巨頭

值得注意的是，完成這項成果的 Wafer 並非大型科技公司，而是一家僅獲得 400 萬美元
種子輪融資的新創企業，投資人包括 Fifty Years、Y Combinator、Liquid2，以及
 Google 首席科學家 Jeff Dean、OpenAI 共同創辦人 Wojciech Zaremba 與 Dropbox 共
同創辦人 Arash Ferdowsi 等知名人士。

Wafer 將自身定位為利用 AI 優化 AI 基礎設施的公司，並表示此次 GLM 5.2 的部分
 Kernel 調校、命名衝突排查與最佳化工作，都已大量導入 AI 輔助工程。

相較過去為了提升效能仍需自行開發客製化 Kernel，如今更多工作已轉向修補官方工具
鏈中的細節，代表 AMD 軟體生態正逐漸成熟。

AMD 軟體生態逐漸成熟

Wafer 指出，過去若每次模型發布都必須重新開發底層 Kernel，小型團隊幾乎無法跟上
市場節奏；如今官方工具鏈已能完成大部分工作，剩餘僅需修正相容性與最佳化細節，新
創公司便有機會快速完成部署，這也是 Wafer 能在模型發布後短時間內完成適配的重要
原因。

Wafer 認為，目前頂尖模型能否順利部署到 AMD 平台，愈來愈取決於官方軟體支援速度
，而非硬體本身，CUDA 長期建立的軟體優勢正逐步受到挑戰。

事實上，SemiAnalysis 今年稍早針對 GLM-5 的測試也得到類似結果。報告指出，在互動
式推理場景下，AMD MI355X 每百萬 token 推理成本約為 0.22 美元，低於輝達 B200 的
 0.30 美元，主要原因除了硬體整體擁有成本較低，也反映 AMD 軟體最佳化已有明顯進
展。

不過，目前 AMD 的優勢仍主要集中於單節點部署。在多節點、大規模分散式叢集以及跨
機專家並行等企業級應用方面，輝達仍保有明顯領先優勢。

若未來雲端業者能持續將 Wafer 的最佳化方式複製到更多開源模型，AI 推理成本仍有望
持續下降，也將進一步提升開源模型在市場上的競爭力。

心得/評論：

上次說花少少錢就能贏輝達的是不是deepseek?

不過最近AMD的股價走勢是蠻不錯的~相較於NVDA來說~

如果能降低成本有助於AI普及化其實也不是壞事，

果然NVDA的地位還是需要靠宿敵才能撼動?

想到90年代~ATI(Radeon)與NVDA(GeForce)的大戰

各位老顯卡玩家怎麼看呢?


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 163.17.149.199 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1783384228.A.19A.html
推 xhs         : 不太相信 因為amd顯卡跟屎一樣
→ benptt      : 坐等教主開示
→ sing60905   : AMD YES
推 s555666     : 最後nvidia贏了，nvidia產量大，軟體支援度高，ati
→ s555666     : 最後還是敗北了
→ aimlikenoob : 賣鏟子的：你們打一架前先買我的貨
→ bnn         : 我感覺他是拿FP4打FP16
推 s155260     : 晶片是用GG的嗎
推 Utopiasphere: 演算法贏 但AMD顯卡跟輝達有得比嗎
推 youga       : 嗯 看不懂
→ fallinlove15: 八成特定場景拿出來吹
推 ssarc       : 輝達也可以委託他優化
→ e2204588    : FP4 ...
推 livewater   : 丸
推 apolloapollo: 結論就是AI is over 在吹啊
推 CKRO        : 鬼故事
推 s555666     : GPU本來就不是AI晶片的最佳解，ASIC才是AI特化晶片
→ s555666     : ，但nvidia就靠著產量和支援拼出了王座
推 LipaCat5566 : 擊落i皇之後下個是輝達嗎！？
→ livewater   : 算力果然過剩
→ kausan      : 推理大家馬都贏 不然哪有asic的事
推 keyneslan   : 這樣AI要重新定價嗎 以前的半價搞定
→ dannpptt    : 真假啦 別亂吹，這樣硬體股通通腰斬
推 pom820117   : 話題性滿滿,實感還沒有
推 goodman5566 : 左打英特爾 右打輝達 amd yes
推 abc12812    : 相信黃董
推 eddy13      : 等真的不會限縮算力時再跟我說
推 bcismylove  : 糙灰搭鬼故事來了
推 mitchness   : 等到你的產品會被走私再說
推 rahim03     : 就算真的硬體股為什麼要腰斬？
推 s555666     : 科技業不進則退，老黃想吃下AI還是得研發出更適合A
→ s555666     : I的晶片，不能老是靠cuda老本
→ rahim03     : 長期來看推理成本本來就會越來越低
→ JoeyChen    : 這是指推論端吧?
推 starport    : 輝達完了 下去
推 ckpetercheng: amd早就屌打nv了
推 cowaksor    : 算力過剩 台股2萬 台積500
推 Vvvahc      : 引入標頭檔編譯失敗? 修正變數的命名才不會讓模型
→ Vvvahc      : 初始data載入失敗?   這是哪間的三流公司請工讀生
→ Vvvahc      : 來操作嗎?
推 mig         : 蒜粒過剩
推 MorikonHase : 我不信
推 foolwind    : 怎麼會腰斬 當然是大家搶更多的貨阿
→ a9564208    : 聽起來就是老問題，沒有不一樣
→ energy100203: 鬼故事喔
噓 gj942l41l4  : …2026了還在跟B200比？
噓 Robert0213  : 天天上演鬼故事，不累嗎？
推 CTTSAI      : 要相信黃董 馬上就懂
推 bensonla    : 算力成本變低是好事
推 sdbb        : 樓下LDPC
推 hunt0413    : 教主都不分析了
→ salamender  : 之前看人說amd可能再鱉一發大的
推 baan        : 兩個都有量化？
推 pru5566     : 算力過剩 台積腰斬
推 cct1121     : 還早
推 davie11333  : 樓下彥州
推 lusifa2007  : 不信 N卡就是比A卡好
推 j0918jack   : 力成表示
→ sing60905   : 大家成本低起來不是更好嗎 對AI來說是好事
→ loking      : 有競爭是好事
→ sing60905   : 之前怕賺不到錢 現在成本驟降不是更好 爽賺
推 lnonai      : 企業私有數據不上雲 AMD好用又便宜
推 guanting886 : 如果包含output的token的成本壓在1M 0.2真的是吸引
→ guanting886 : 人 但SA沒講的話就是呼嚨人的ㄏㄏ
→ timetostudy : 要崩了
推 harrychen413: 天~崩~地~裂
→ alex00089   : AI is over
噓 birdjack    : 現在說什麼新創公司做了三小都是騙投資用的
→ birdjack    : 真的被踢爆的時候才說是有嚴苛限制條件
推 xboxandone  : 操輝達了嗎
→ WenliYang   : 開始囉～
推 jjack11     : 專業掉驅動你行你上
推 bunjie      : 出貨文？
推 jaceda      : 鬼!
推 johnchiang  : 還在顯卡...
推 BBKOX       : NVIDIA 於 2024 年 3 月正式發表基於 Blackwell 架
→ BBKOX       : 構的 B200 GPU，並於該年底正式上市
噓 arm370x     : 驅動現在有Ai都還沒修好 問題一大坨
推 henrylin8086: Linux上不會掉啦
噓 lionel20002 : NV就老AI死錢
→ sheep2009   : 單卡效能就算了吧
推 saya2185    : AMD 彎道超車
推 ntr203      : amdeepseek
推 gladopo     : 跟以前一樣，amd的卡在兩年後準備接近老黃，但新卡
→ gladopo     : 又要出惹
推 jorden      : 真的假的 僅靠軟體就能優化
噓 y80304      : 這騙點閱率喔......
噓 win8719     : B200 現在是Rubin比B200快5倍以上
推 boykid      : 開崩！！！
推 saladbread  : 本是台南生，香煎何太急？
→ WWIII       : 崩了
→ idernest    : 完了
→ linleex     : 不支援cuda沒用吧
→ ivanchang   : 這則新聞很無言，只覺得NV技術領先AMD很多
推 furnaceh    : 華西街又不會懂 能炒就贏了
→ xiaoyao     : 這故事也編得太爛
→ ohyakmu     : 要跑贏nivida很容易吧！我說股價
推 SkyFee      : AMD很猛
推 Arctica     : ㄟ唉伊死歐ver
→ fallinlove15: 如果使用場景設定的好 可以先暫存比較可能被調動的
→ fallinlove15: 模塊達到加速的效果 這也是未來終端會推的做法
→ fallinlove15: 但這不是多難的技術 說要贏輝達就來亂的
推 exitingsoul : 嘗試各種節省算力、降低精度的原因，不就是算力不夠
→ exitingsoul : 嗎？
→ fallinlove15: 總不可能每種應用都用全能型的啊 太貴
→ fallinlove15: 所以根本不用擔心過剩 同樣一百塊 你當然會希望能
→ fallinlove15: 買到的東西性能越強越好
→ fallinlove15: 如果對比手機發展 過剩也是十幾年後的事了
→ alex00089   : 沒有鯊手級應用
推 tomdavis    : AMD 甘納賽~~~
推 s881720     : AMD YES 蘇媽鑽石加大
推 Dia149      : 過剩了
→ Lhmstu      : 洗洗睡吧，想太多
噓 strlen      : 我也有蘇媽啦但請蘇媽救救貪狗卡蛙
推 herculus6502: 推理沒有問題
推 young000    : 中國要弄新系統環境，AMD 鐵定有幫忙，CUDA 獨佔太
→ young000    : 貪了 XD
推 randystock  : 不管誰贏都是要找GG代工
→ ojh         : 股板高手3年前就提醒過gpu over了 果然準
推 create8     : Amd yes!!
→ frank072304 : 特定場景
→ aloness     : 3c產品是隨時間越來越廉價的，各位願意花iphone17
→ aloness     : 的錢買iphone7嗎
→ NankanAvenge: ASIC功能單一 不可能沒有完全沒有GPU 只是未來肯定
→ NankanAvenge: 會用ASIC取代大部分算力
推 jympin      : 難怪大漲
推 mkmdog5566  : 開源都是渣渣
推 crtzeng     : 90年代的AMD沒有蘇媽，這次輸贏很難說
推 hensel      : 推論買AMD的跟gb10也差不多價錢，支援度又沒nv好，
→ hensel      : 是喜歡瞎忙嗎
推 hugi147     : 好耶 我可以用便宜的高級模型了嗎？
推 MoneyDay5566: 龐氏騙局要破了
→ gpx369      : 這兩家無論是誰贏都還是要跟GG下單
推 dynamo      : 沒差，贏的都是GG
推 seemoon2000 : 三小 這就家用設備放大的開源模型而已啊 實際上訓
→ seemoon2000 : 練大模型和使用雲端模型才是用GPU的大頭啊....
→ bndan       : AI成本腰斬的部份 記憶體稅可以全拿去了 XD
推 hook99      : 還是要買GG
→ leo255112   : 老黃藥丸？
推 cms6384     : 該噴了吧
推 jy760517    : AMD yes!
推 centaurjr   : 2026的AMD都能談軟體優化了XD
→ aadsl       : 再買amd的顯卡我就是狗
推 z70126      : 吞吐量......好澀喔
推 jetx2110    : 等你好不容易追上來的時候，輝達又會出新的打趴你
→ jetx2110    : 了
推 ymlin0331   : 穩了
推 dkfs789     : CUDA>>>>>>>>>>>>>>>>>ROCm
推 jorden      : 軟體優化完 然後都卡死在硬體 XDDDDDD
推 pkmfyw      : 與其吹這個 倒不如研究省電40% 效能還能維持
推 jvor0719    : 我不看了 長期投資
推 CLisOM      : 既然運算單元成本降價那三星又能漲價了
推 piece1      : 再買amd顯卡就剁掉..不能再同意更多了！
推 waitrop     : 汪汪
推 rebel       : Wow amd的PE已經到181了
推 miloisgood  : 丸
推 lifeowner   : 台灣智障：N卡的驅動值5000。
推 pmebigGG    : 感覺很多人推論跟訓練分不清楚
推 seemoon2000 : 在LLM模型情境ROCm甚至比Vulkan 還爛了 還跟cuda比
推 CJonQuil    : 天下苦黃久矣
推 wuchanghan  : 鬼故事來囉
推 jaricho     : 一堆人美股買NVDA耶
→ luba2       : 重返農藥？
推 sakeru      : 反正我歐印AMD了  沒拆股不賣
→ ezorttc     : 蘇媽遙遙領先
推 stosto      : 哪天模型要打掉asic 也要重來了
→ KFC007      : NV贏在CUDA,但AMD發現了繞過CUDA的方式
→ KFC007      : 大廠最終都希望兩個鏟子廠廝殺這樣才能降低成本啊
→ xxxzxcvb    : 只有單節點而已 多節點還在努力
→ jack1042    : 一堆東西沒整合好 不覺得AMD有什麼優勢
推 x58420      : amd Yes
推 ga278057    : 一句不談cuda
推 Courtney    : 不信～
推 ted1985     : 老套路 捧A買N
→ ga278057    : 怎麼不說轉譯跑cuda多少
推 spen2005    : 只有用torch 的話rocm cuda沒什麼差
推 Haruna1998  : 等落地再說吧 實驗室數據出來後實際都跟屎一樣
推 xxgogg      : 腰斬還不塊陶嗎QAQ
推 foxher      : 99 NVDA
→ hong414     : 不用為了一堆遊戲搞驅動
推 bizer       : 看起來就是吹的
→ atxmin      : AMD本益比200倍 NVIDIA 30倍 愛買AMD就去買
推 deathoflove : NV=拉基
推 thinktwice31: 吹牛波
推 k6416337    : https://i.imgur.com/wAmqUrd.jpeg
推 k6416337    : NV 本益比30，股價跌到狗吃屎，跟跌不跟漲
→ NekomataOkay: 怎麼辦; ;
→ kivan00     : 這什麼鬼故事 所謂的效能是砍精度跑出來的
推 fhill12     : ati ?!
→ kivan00     : 至於什麼CUDA ROCm別分那麼細 ROCm函式庫就是抄著
→ kivan00     : CUDA抄出來的
噓 wsxe2007    : 好好笑一早就有笑話看
→ kivan00     : 所以才會看到大半年了還在那邊改來改去追著改
推 CYL009      : 來不及惹 大家都買鏟子買到好幾年後惹
推 ckpetercheng: nv本益比高到可怕 未來市場又被瓜分
推 greedypeople: 我自己是AMD NV都有  長期持有的話我對NV比較放心
推 isco        : 最重要的是ATI的顯卡也沒便宜到一半，同理的是AMD G
→ isco        : PU的機櫃價格有便宜到一半嗎？
推 billionaire : https://i.verb.tw/0PsCitb3.jpg
→ sushi11     : 蘇媽誰叫妳這麼認真的
推 ronga       : 算力一半 不代表算力需求滿足啊 兩回事
→ tales1216   : 想太多
→ ojh         : 本益比高代表市場看好他的發展 nv是已經確認over了
推 ZXSC        : 教主預言成真？蘇媽要幹老黃惹
推 k798976869  : 蘇媽厲害
推 chiki428    : 重倉按摩店 相信蘇媽 做空輝達
推 misthide    : 開源模型就別提了吧
推 ivan761016  : NV如果要吃ASIC會打到自家人所以瘋狂建護城河
推 hpk89       : 做一堆優化才把成本砍到一半？ 同樣方式NV優化完是
→ hpk89       : 不是又屌打AMD?
推 DogEggz     : 所以顯卡價格要跌了沒
噓 gest7240    : 啊股價不是反應到月球了，nv的fpe殺到跟喘慘一樣了
→ gest7240    : 還怎樣，想出貨還是想進貨
推 kusotoripeko: 蒜粒鬼故事，拿去哪用了，這陣子ai還三不五時變傻子
推 kimula01    : All in 2330
噓 WWIII       : 崩爛 又不缺算力了
推 Sianan      : 哪是鬼故事 是好故事啊 推理成本降低有助於整體AI
→ Sianan      : 發展 CSP只怕投入一堆深不見底 你投入的本效比越好
→ Sianan      :  CSP才敢繼續投啊
推 Heedictator : 媽媽
→ kuinochi    : MXFP4是maximum fp4的意思嗎？？
推 Zzell       : 繼續投 所以前面的投資怎麼辦
→ Zzell       : token就已經在賠了 難道硬著頭皮繼續用
推 gn00670191  : 這是不是在說AMD爛到有剩，做一堆optimize還只能跑
→ gn00670191  : 到別人八成
→ bndan       : 前面的投資就是堆屍體阿 現在是TOKEN不賤價 那商業
推 gn00670191  : optimize不用錢不用成本嗎？換個model又要重新來一
→ gn00670191  : 次，根本AMD鬼故事
→ bndan       : 應用層就居高不下 居高不下你要怎帶起大AI時代取代
→ bndan       : 下面多數層級的人力?
→ bndan       : 反之TOKEN貴鬆鬆 那前面的投資回本的可能性就高了但
→ bndan       : 商業應用就只能停在特定高層級了 奢侈品的概念
→ bndan       : 而且這還沒講到最記憶體稅對價格的影響 XD 只能說這
→ bndan       : 時期擠牙膏=自毀前程 但不擠嘛 爽基礎零件記憶體海
→ bndan       : 撈一波而已 撈完造成3C需求大崩又怎樣? 入袋才是贏
推 hoo911ver25 : BF16跟MXFP4能一樣嗎
推 zipupup     : ATI的問題一直是驅動程式爛吧？
推 lastsodeep  : 等等….B200?
推 hotbeat     : AMD 不就內部也在用輝達的軟體嗎
推 blue155305  : 天下苦老黃久矣
推 traz04067   : Yes
→ rdkirk      : 突然每間公司都說自己比輝達更厲害喔
推 d004093     : NV垃圾
推 bunjie      : 請支援海濤法師 假的.jpg
推 bettybuy    : 這樣不是很好嗎 太貴也很痛苦ㄟ
推 skizard     : 是特定模型還是多數模型都能是輝達一半 差很多喔
推 zaza1128    : 蘇媽努力多年
噓 bhmagic     : 沒有Cuda只跑不訓練 那去跟Asic比 比的贏才怪
→ rcro        : 一眼假 絕對是特別調教的