› 看板 PC_Shopping 關於我們 聯絡資訊
作者Mapodoufu (當歸)
看板PC_Shopping
標題[閒聊] AMD Strixhalo ROCm 7.13 對LLM 有所提
時間Sun Jul 12 12:17:51 2026
https://i.imgur.com/xO6ZZbe.jpeg 我也不知道發這篇有什麼意義 閒來無事提供給手邊有買StrixHalo的人參考 有打算在高點出手的可以再停看聽一下 各位就當看笑話即可 舊物新賣還漲價的識趣哈嘍開賣了 長年躲在 DGX Spark 的影子下 每天看著綠色夥伴用NVFP4 飆速 自己卻只在廁所默默啜泣 最近的ROCm假FP4 pp也沒啥屁速提升 不過AMD戰的一直都是未來 最新版 ROCm 7.13 預覽版 pp終於獲得了明顯的提升 ROCm 7 每次更新 對LLM使用者都是一次次的失望 感覺都是針對 生圖生片那塊更新的 但這次不一樣了 經過實測 平常使用 122B-A10B Q4 這種夭壽大模型 基本上都是在磨練耐心 可以去泡茶、上廁所 身體都健康了不少 因為pp等待時間都是以分鐘為單位 這次初始速度竟衝破1000t/s 以下是我的測試結果 (第一段是自動生成對話主題可以忽略) 第二段的 prompt processing 才是重點 總共給了GPU 123GB https://i.imgur.com/igb9H3f.png ROCm 7.13 (1129 t/s > 547 t/s) https://i.imgur.com/1PNzIGA.png 以下是穩定版速度 ROCm 7.2.4 (820 t/s > 426 t/s) https://i.imgur.com/Z3GnudA.png ROCm 6.4.4 (720 t/s > 435 t/s) https://i.imgur.com/jm9RB4N.png -- BZ顏藝王Danger https://i.imgur.com/W8WpKX2h.jpg https://i.imgur.com/LDTGr2Xh.jpg -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.40.246 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1783829873.A.0C5.html
推 seemoon2000: 相同環境下 Vulkan預填充是多少?82.140.187.53 07/12 13:40
Vulkan-RADV (871 t/s > 455 t/s) tg竟然是所有裡面最高的 有點意思 https://i.imgur.com/8qDX9ZC.png
推 Leohs: 有推薦8060s使用SGLang的方法嗎？ 這兩天搞101.10.164.50 07/12 14:42
→ Leohs: 很久@@101.10.164.50 07/12 14:42
我很廢 都用別人做好的container ※ 編輯: Mapodoufu (49.216.131.224 臺灣), 07/12/2026 15:44:11
推 seemoon2000: 之前就是ROCm預填充在文本小的時候 82.140.187.53 07/12 16:32
→ seemoon2000: 會贏過Vulkan 但長上下文會輸 吐字 82.140.187.53 07/12 16:32
→ seemoon2000: 層面的話 Vulkan一直都是贏的 82.140.187.53 07/12 16:32
→ cauliflower: 長年躱在DGX SPARK是如何成立的？不 111.246.180.84 07/12 19:56
→ cauliflower: 是才發布一個月？ 111.246.180.84 07/12 19:56
推 oldgooddays: 有用過檸檬水嗎？ 123.110.172.24 07/12 20:07
→ iceyang: DGX SPARK賣很久了 61.224.168.230 07/12 20:57
推 wbenjin: 有人DGX Spark RTX Spark傻傻分不清處 36.239.245.197 07/12 21:05
→ iceyang: 打算直接買Gorgon Halo,希望別太拉 61.224.168.230 07/12 22:40
推 kira925: Gorgon Halo好處是RAM可以更 就這樣 57.140.96.46 07/13 09:10
→ kira925: 速度是比不上的 57.140.96.46 07/13 09:10
推 kira925: 可以更大 57.140.96.46 07/13 09:43
推 dkfs789: AMD對API的支援跟他的驅動一樣好 支持134.231.162.123 07/13 13:49
推 lordmi: Gorgon Halo可用的VRAM最大是168，不過還 36.229.97.47 07/13 17:29
→ lordmi: 是有兩個問題：空間很尷尬 Qwen3-235B MoE 36.229.97.47 07/13 17:33
→ lordmi: 放進去是行，但頻寬太低不實用。100B密集 36.229.97.47 07/13 17:34
→ lordmi: 很久沒好的模型出來了 36.229.97.47 07/13 17:34
→ lordmi: 第二當然還是在AIGC生態太弱全靠為愛發電 36.229.97.47 07/13 17:35
推 kira925: Local使用的話 幾個好的Dense+協作夠用 1.164.104.109 07/13 21:14
→ kira925: 無限追求更強更大的model在本地端還不如 1.164.104.109 07/13 21:15
→ kira925: 比較好的Harness Engineering 1.164.104.109 07/13 21:15
推 seemoon2000: Dense超過35b那個速度就很感人了 45.144.227.12 07/13 21:42
→ seemoon2000: 本地最好的模式就是 120B A9B MoE 45.144.227.12 07/13 21:42
→ crimsonmoon9: 目前128GB能塞的最強應該是Qwen3.5- 223.139.62.72 07/13 21:43
→ crimsonmoon9: 122B-A10B 223.139.62.72 07/13 21:43
→ crimsonmoon9: 一般單卡能塞的是Qwen3.6-27B 223.139.62.72 07/13 21:43
→ crimsonmoon9: 留下足夠大的KV cache空間比較重要 223.139.62.72 07/13 21:44
推 kira925: 我的話是Qwen 3.6 27B / Gemma4 31B 1.164.104.109 07/13 21:52
推 lordmi: 目前30B上下模型迭代快速的背景就是大部分 36.229.97.47 07/13 21:57
→ lordmi: 本地環境雙卡，反過來讓各團隊拼命卷48GB 36.229.97.47 07/13 21:59
→ lordmi: 以內的賽道 Qwen3.6-27B／Gemma 4 31B 36.229.97.47 07/13 22:00
→ lordmi: 也是卡在了Q5_K_M + Q8 KV，100K context 36.229.97.47 07/13 22:00
→ lordmi: 這個甜蜜點。再上去120B已經很久沒競品沒 36.229.97.47 07/13 22:01
→ lordmi: 好東西，所以168這個賽道如果真的成氣候 36.229.97.47 07/13 22:03
→ lordmi: 會受惠的應該是200B那個層級終於有誘因了 36.229.97.47 07/13 22:03