[心得] 顯卡真實 AI 算力整理 GPU AI TOPs

[james58899 (james58899)]

之前在巴哈和板上看到用9070XT跑圖片生成的文章，突然對跑AI有了興趣
然後就拉著小伙伴們一起來跑AI，所以肯定要比一下誰顯卡跑比較快
結果發現網路上到處都是又稀疏又低精度的膨脹算力，實際幾乎用不到
只好從各種官方文件中整理不同精度的實際算力
一查才知道原來我拿9070XT打了半年的遊戲結果跑AI也很強

總之先上圖
https://i.urusai.cc/8FRjv.png
原始表格：
https://reurl.cc/KOZj1M
https://docs.google.com/spreadsheets/d/1V0LZwM7pADpgszZdZuzNZyXD8Uwvg2b-XavzM14Bz1U
網頁匯出版：
https://reurl.cc/MMrdm4

主要看FP16/BF16和INT8/FP8這幾行
一般圖片生成都是用FP16/BF16少數使用FP8量化，而語言模型大多用FP8/INT8或更低的量化
語言模型更吃記憶體頻寬，圖片生成更注重算力但也還是吃記憶體頻寬
當然這些都是建立在VRAM夠用的前提下
如果VRAM不夠用就需要頻繁將模型的權重在RAM和VRAM之間搬來搬去

由於NVIDIA卡的變種實在太多了，所以僅整理有官方規格或比較有可能拿來跑AI的卡
如果有其他感興趣的卡，可以先找接近的型號根據Tensor核心數估算一下
或者也可以推文留言，等我哪天有空可能會補充進表格


原本以為想跑AI只能買NVIDIA，結果發現其實Intel和AMD支援性都已經不錯了
最新的AMD Windows驅動甚至直接把AI大禮包整進安裝工具，直接開箱即用都不用搞半天環境
Intel A770原本以為是遊戲卡，結果其實是AI卡，跑AI比跑遊戲強多了...
傳說中的AI金磚DGX Spark實際上就只有128G很大，實際算力和頻寬都還好而已

我覺得如果只是想試試AI的人買個9070XT是個不錯的選擇
說AMD驅動不行的反正我是半點問題沒遇到，真要說也只有爆VRAM的時候有機會崩驅動
但這任何顯卡都一樣，你VRAM用滿了東西就得炸
沒炸也只是驅動或系統在盡力把東西搬到RAM而已，搬不了或者來不及搬的時候還是要死
如果主要就是跑AI的話，AMD全家桶用起來也沒問題可以考慮AMD R9700
基本上就是有32G VRAM的9070XT，但價格也翻了一倍，不過還是比NV便宜
不然就直上RTX 5090，或者直接攻頂滿血的RTX PRO 6000，信老黃肯定沒錯對吧

在人類突破物理極限或者找到新的AI計算方式之前，多少算力就要多少功耗，沒有任何魔法
如果有個東西算力很高那只有兩個可能，一個是功耗也很高，另一個就是算力灌水

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.213.184.242 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1771667496.A.A72.html
推 ltytw: 現在硬體貴其實是天網想搞死玩家吧
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 17:54:44
→ commandoEX: 比非稀疏性能沒那麼真，NV有針對稀疏
→ commandoEX: 運算加速，大語言模型也是稀疏矩陣
稀疏加速的要求其實很高，矩陣要有一半都是0才能觸發
而且還要特定格式的0，不是隨便有一半就行
我偏向認為宣傳大於實際意義，而且要看稀疏算力直接x2就是了
另外AMD RDNA4其實也支援稀疏加速
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:06:47
→ a85139138: A卡跑AI最大的問題是生態不是算力吧
→ a85139138: 一堆套件都是針對CUDA開發的
→ a85139138: 要用A卡跑還得先各種debug和配置好環
→ a85139138: 境
現在AMD配置難度已經幾乎沒有了，需要的操作就只有把cuda版pytorch換成rocm版而已
蓋在pytorch上的東西都能無縫直接能用，基本上就只有NV那幾個黑魔法加速不能用
但最近我看社群也都有搞出替代方案了，實際差距沒有想像中那麼大
推 cylinptt: 不知道4090魔改的數據怎麼樣
魔改只有加大VRAM吧，頻寬和算力應該是不會變的
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:14:17
→ jkiu: spark定位是開發用機，另外它的一個相對amd
→ jkiu: 的強項是pp，長context的處理速度
噓 kf0916: 跑ai買amd真的自找麻煩
推 lordmi: 只比TOPs意義不大。在模型比較大的時候，
→ lordmi: 瓶頸往往不在計算而在存儲相關操作。同樣
→ lordmi: 的顯卡核心計算單元，使用不同的存儲架構
→ lordmi: （例如hbmvslpddr）或者不同的存儲布線，
→ lordmi: 跑模型的速度都會有顯著不同。要不為啥高
→ lordmi: 階存儲漲價漲那麽高？
表格也有列記憶體頻寬，如果知道自己用途就特別吃頻寬的話當然挑大的買
其實AMD的Infinity Cache對AI也有奇效，不過這就要軟體去相容才能吃到
推 meteor724: 打臉板上推n卡跑ai
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:19:57
推 sorrojvr: 8g vram、12gvram應該不會跑fp32 、16
→ sorrojvr: 光模型就大的嚇人 vram根本不夠
→ sorrojvr: 我覺得跑fp8,Q4k的gguf反而很多人
→ sorrojvr: 因為很多人顯卡只有8g-12gvram
→ sorrojvr: 需求vram低 跑出來效果也還可以
推 guanting886: 推原PO認真分享
推 mizumutsuki: 2060S 8G都能列入表格了，請問9060XT
→ mizumutsuki: 8G能跑嗎
這是因為我的小伙伴就用那張所以才在表格裡
8G對於AI來說真的是很不夠用，你需要找低精度量化的模型來跑
→ takanasiyaya: 這看起來就很雲，容量才是重點，不
→ takanasiyaya: 夠你根本不能用大模型
推 s78513221: 簡單部署嗎...？ollma直接表示不支援
笑死，我覺得這是ollama本身就特別雷llama.cpp本身用vulkan明明就能跑得很好
AMD AI大禮包裡面另一個LM Studio就跑得很開心
推 YCL13: 在跑圖這塊，A家GPU已經有不錯的支援了，但
→ YCL13: 在跑LLM部分，覺得連CPU的支援都還比不上
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:56:52
推 guogu: 沒有6600xt 太苦惹
6600XT又8G又RDNA2，你還是放過它乖乖打遊戲吧
RDNA3才有矩陣加速，然後RDNA4的矩陣加速才是滿血的
這也能解釋為什麼AMD限制基於AI的FSR4在RDNA4卡才能用
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 19:02:30
推 ttping: 為什麼跳過3080 QAQ
3080那可憐的VRAM大小，空有算力沒用阿，讚嘆老黃刀法吧
推 davidex: 借問一下9060XT 16GB能跑AI嗎?
16G肯定是能跑，但算力和頻寬都只有9070XT的一半，速度大概也只有一半
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 19:22:10
推 sugoichai: 9060xt不就寫在表上嗎？
推 tshu: A770頻寬給的夠，其實很有誠意
→ tshu: 一般使用者跑跑fp8過個癮就行了
推 YCL13: 不會那麼慘啦，如5060ti能力不到5080的一半
→ YCL13: ，我實際用起來表現約60%左右，因為PC端也
→ YCL13: 會有響影，真不要因為覺得自己硬體差就不試
→ YCL13: ，嚐試後你可能會發現其實沒那麼不堪，像我
→ YCL13: 之前爬國外討論區時，一堆人只用3060也玩得
→ YCL13: 很開心
推 davidex: 喔喔 看到了 居然還優於5060ti呀
→ commandoEX: 一般定義稀疏矩陣是非零元素<5%的矩陣
→ commandoEX: 50%非零元素你的矩陣不用做1B，做1M
→ commandoEX: 的FP8就要3000G記憶體儲存
→ commandoEX: Transformer 的注意力矩陣大概只有
→ commandoEX: 幾億分之一的非零元素吧
推 jake255121: 很有價值的整理
→ commandoEX: 所以稀疏矩陣運算本來就要壓縮
→ commandoEX: 原始矩陣才能做
→ vsbrm: 主要是軟體支援程度
推 royalblue213: 感謝整理分享
推 avans: 對窮人來說算力根本無所謂vram大小才是重點
→ avans: 仍在使用3060 12Gw
推 a22663564: 很多人就是喜歡品牌迷思，先噓在說，
→ a22663564: 雖然我沒跑AI，但看原Po的解釋覺得沒
→ a22663564: 必要帶偏見，畢竟他有實際執行，自己
→ a22663564: 有用過覺得ok就ok，幫補推
推 fu1vu03: DGX spark的fp16比5080還強喔？
DGX Spark似乎是滿血的FP16，但聽說那東西還會過熱降頻，實際可能更低
沒有任何官方資料有給除了FP4以外的算力，而且那價格比5080強應該的吧
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 20:07:08
推 glenmarlboro: 看來19112台幣入手的xfx 7900xt真的
→ glenmarlboro: 不虧
推 Supasizeit: 覺得AI看跑分的無腦買A卡就好
推 zseineo: 推
推 ganei: 能跟R9700打對台的就淘寶/鹹魚的4080S改32G
→ ganei: ，原本雙12前價錢差不多但漲一波後現在貴一
→ ganei: 截了，改卡保固就看店家佛心跟個人本事
推 ctes940008: 工作用途建議從Pro 6000開始買。
→ ctes940008: 其他32GB以下都算是遊戲用途
推 saito2190: 從老黃的記憶體頻寬就能看出刀法精湛
推 schula: 4090這樣算超值了吧
推 dos01: 還是那句話
→ dos01: 可以跑 跟買來就能解決問題是兩回事
→ dos01: 當可以跑的前提是需要轉特定的東西 或者是
→ dos01: 找特定的解決方案 對大多數人只想一鍵處理
→ dos01: 的人來說基本上就等同於不能跑
推 ireina723: 那就只有gemini gpt能跑了 對阿
推 htps0763: A卡看跑分就沒用
→ htps0763: 那個ROCm主要用linux開發，win上缺一堆
→ htps0763: 組件
→ htps0763: 在等個半年一年，看看ROCm什麼時候實現
→ htps0763: 它ppt上吹的東西
我覺得沒有到缺一堆東西，而且有缺也能在WSL裡面跑起來
人家都敢直接在驅動裡面給你AI大禮包了，跑個主流應用不太會有問題
→ Wilson310: A卡主要問題是新應用出來第一時間幾乎
→ Wilson310: 玩不了
→ Wilson310: 選N卡至少都有嘗試的機會
推 nrsair: A卡算力蠻高的
→ Aquarius126: 開發訓練模型跟應用模型，需求本來就
→ Aquarius126: 不一樣，單純AI應用的話，說不定如原
→ Aquarius126: PO說的，不用執著N卡了
我也試過用9070XT練LoRA，只要把pytorch換rocm版然後關xformers就會動了
推 htps0763: 應用還是很缺，像圖片文字辨識，語音轉
→ htps0763: 文字，有很多就是純cuda開發
→ htps0763: A卡現在就是盡力去搞llm這些比較熱門的
→ htps0763: 但還有一堆應用在rocm上沒有實作
只要是蓋在pytorch上的東西大多都能跑
現在大多也都改用triton在寫，直接寫cuda的很少了
推 nextpage: 目前老黃給的5系N卡加速NVFP4很有感
推 e446582284: 結論是買N卡，希望有人能提出一個主
→ e446582284: 流、N卡不能用的模型打臉我
→ e446582284: 反過來只限N卡，其他不支援的一抓一
→ e446582284: 大把
你說的對，但前提是不考慮錢包，直上PRO 6000肯定最佳解
其實不只N卡vs其他，新N卡vs舊N卡也會有不支援的問題
※ 編輯: james58899 (49.213.184.242 臺灣), 02/22/2026 01:41:55
推 dragon6: Spark好鳥 怎麼不是用CUDA 13版
推 xiaotee: 推整理
→ yangwen5301: 理論和實際速度還是有差的，測demo的
→ yangwen5301: model兩家當然都不錯
→ red0210: 看你所謂的跑 AI 是到什麼程度，一般研
→ red0210: 究生程度就會發現問題超多
→ red0210: 不然我還很推用 Mac 跑 AI 呢，unified
→ red0210: memory 超香
→ oread168: 7真的有料 終於能到理論蒜粒
→ oread168: 不過重點還是comfyui有更新amd無腦安裝
→ oread168: 不然肥肥也懶得弄