[新聞] 超微推出具192GB記憶體的純GPU之AI晶片MI

[stpiknow (H)]

超微推出具192GB記憶體的純GPU之AI晶片MI300X，搶奪AI市場

https://bit.ly/464WD15

超微（AMD）為了追趕輝達，於2023年6月13日正式向外介紹一款純高性能GPU的AI晶片
MI300X。

前不久，超微推出結合CPU和GPU雙架構的Instinct MI 300進軍AI訓練晶片，這款晶片在
規格和性能直接對準了輝達的Grace Hopper。不過，為了直接瞄準大型語言模型市場，專
為需要所有記憶體容量來運行最大模型的客戶而設計的MI300X不再是混合使用CPU和GPU，
而是用兩顆CDNA 3 GPU小晶片取代了MI300A的三顆CPU小晶片，從而形成了12顆小晶片設
計，包含：8顆GPU小晶片和另外4顆IO記憶體小晶片。

除了純GPU性能之外，超微的MI300X亦提高記憶體容量，讓當前這一代AI大型語言模型（
LLM）能獲得192GB記憶體。由於AI客戶正在以最快的速度搶購GPU和其他加速器，同時需
要更多記憶體來運行更大的模型。因此，超微提供一個使用8個HBM3記憶體通道的192GB
GPU將成為當前市場上的一個相當大的優勢。

其實，AI晶片可以分為雲端、終端和邊緣。根據任務劃分又可以分為訓練晶片和推理晶片
。雲端就是在數據中心進行模型訓練，晶片需要支撐大量的數據運算，終端和邊緣對運算
要求稍弱一些，但卻要求快速回應和低功耗。如今輝達H100晶片霸佔了訓練晶片這一領域
，超微似乎想利用MI300X來爭取更多客戶的支持。

除了192GB MI300X公布之外，超微還簡要宣布了他們所謂的AMD Infinity架構平台。 這
是一種允許最多8顆超微的高階GPU互連在一起以處理更大的工作負載的8-way MI300X設計
。

就如輝達的8-way HGX和英特爾的Ponte Vecchio的x8 UBB那樣，8-way處理器配置目前是
高階伺服器的最佳選擇的架構。

另外值得注意的是，AI開發人員歷來偏愛輝達晶片的一個原因是它有一個名為 CUDA的開
發完善的軟體包，使他們能夠利用晶片的核心硬體功能。超微也推出擁有自己的AI晶片軟
體，稱為ROCm。其希望建構一個強大的軟體堆疊方面取得了真正的巨大進步，讓該軟體堆
疊可與模型、庫、框架和工具的開放生態系統一起使用。

超微認為數據中心之AI加速器市場將從2023年的300億美元左右，以超過50% 的年複合成
長率增長到2027年的1500億美元以上。

雖然超微沒有透露MI300X的價格，但此舉可能會給輝達的GPU帶來價格壓力，畢竟，H100
的價格高達30,000美元或更多，如果超微能夠在性能提升的同時，又給市場更合理的價格
，這有助於降低生成式AI應用程式的高成本，也可為其帶來可觀的市場佔有率。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 203.145.192.245 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1687308077.A.0C0.html
→ outzumin    : MI250跑pytorch training 跟A100已經互有勝負了
→ outzumin    : MI300看來值得一戰R
推 jin20040117 : 8顆HBM3 好猛
噓 puffycat    : 不能跑Cuda就pass
→ pimday      : Cuda才是核心阿 你AMD要推啥跟Cuda打
推 loking      : cuda都多久了   誰會自己找麻煩用新語言
推 wulouise    : 支援cuda再發新聞好嗎？
推 Messibugoo  : 不是早就能兼容了嗎...
推 azhu        : 99AMD
→ summer08818 : 是透過HIP讓AMD能跑 而不是直接搬過去 完整性有差
→ summer08818 : API不兼容的你還要自己重K 光這點就不好推了
推 chobit199685: 友x光電還想捨棄CUDA自己寫呢 :) 我直接說不接
→ Lordaeron   : CUDA? OPENCL 不好?
推 jamesho8743 : OpenCL沒有像CUDA那樣能對自家GPU最佳化吧 而且open
→ jamesho8743 : cl 出來之前 很多科學家程式師都已經習慣CUDA很多年
→ jamesho8743 : 了
推 lovebridget : 看不懂 能跑貪食蛇嗎
→ MTKer5566   : 可怕，以前我用Trident SuperVGA才1MB顯存
推 ncuephysics : A只能喝湯
→ aria0520    : 大VRAM才是王道