[菜單] Gemma 4 26B 推理機

[tacovirus (大怒神のスイッチ)]

已買/未買/已付訂金（元）：未買

預算/用途：40000 / Gemma 4 26B 推理

CPU (中央處理器)：AMD Ryzen 5 9600X
MB      (主機板)：Asus ProArt B850-Creator Wifi Neo
RAM     (記憶體)：十詮 T-Create DDR5 6000 CL30 x2
VGA     (顯示卡)：(沿用) Intel Arc Pro B70 32G
Cooler  (散熱器)：風魔3
SSD   (固態硬碟)：(沿用)
HDD       (硬碟)：
PSU (電源供應器)：振華 Leadex III 850W 金牌/全模/主日
CHASSIS   (機殼)：聯力 Lancool 217
MONITOR   (螢幕)：
Mouse/KB  (鼠鍵)：
OS    (作業系統)：Ubuntu

其它      (自填)：
總價 (未稅/含稅)：35966 含稅

最近實驗 B70 推理, 編譯 llama.cpp SYCL 版本跑 Gemma 4 26B 速度很滿意
不過目前是用 eGPU 的方式跑, 想說乾脆組起來比較省事
這個搭配有沒有什麼需要改進的地方呢?

--
世界越快 心則慢
網路越慢 心則快

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.117.175.196 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1783273286.A.421.html
推 are2: MOE模型用啥跑都很快 但你接受這智商？
→ are2: 長遠看別買I卡獨顯 N家入股後可能會被放生
→ are2: 買張7900XTX生態跟速度都更好 還更便宜
推 are2: 喔 看錯 原來卡有了 那剩下隨便
→ Litfal: 我也好奇26B不嫌笨嗎？
→ shane10222: 本地端有更好的?
→ shane10222: 32GB有其他更好的選擇嗎?
推 MK47: 好奇這麼笨的模型要用做啥？不甘脆用API嗎？
推 TameFoxx: 小模型用dense的比較好
→ TameFoxx: 但輸出速度就沒辦法快
推 saito2190: 你RAM夠的情況下，本地跑用Gemma4 31B
→ saito2190: 或Qwen 3.6 27B這種Dense模型智力跟Ag
→ saito2190: ent性能方面都會比較好
→ saito2190: 如果用途比較專一在推理或是寫Code，
→ saito2190: 用llama cpp加隨便一個qwen 3.5被opus
→ saito2190: 或fable微調過的版本都不錯
→ iceyang: 小模型用來養馬
推 GenShoku: 本地小MoE模型還是拿來聊天就好，真要幹
→ GenShoku: 活，就算慢也是選dense模型穩
推 YCL13: 也是建議由Gemma4 31B或Qwen3.6 27B二選一
推 yenchieh1102: 電供抓大一點，未來再插一張卡(?      42.70.248.221 07/06 08:36
好 der，我改買 Leadex VII 1000W，存點錢再加一張
推 are2: 目前地端天花板就是qwen3.6 27b呀
推 akimu: 真的用過api就會知道中國那幾個都是智障
→ akimu: 跑分漂亮長期用下來就是鬼打牆
→ akimu: 來不如直接用美國的 最後也不會比較貴
推 ElrosHsun: 原本也是想本地跑後來還是用dsv4 flas
→ ElrosHsun: h超便宜比電費還省
推 takanasiyaya: 本地端顯卡玩qwen3.6 27B或Gemma4 3
→ takanasiyaya: 1B沒錯啊。當然你跟真正大模型比差
→ takanasiyaya: 的還是太遠也是事實
→ crimsonmoon9: 兩家的MoE都這麼不堪嗎？
推 GenShoku: 以gemma4 26b a4b來說，他實際就只是知
→ GenShoku: 識量較多比較聰明的4B模型而已，真的要
→ GenShoku: 長鏈路推理、作業、寫文章，完全沒法跟
→ GenShoku: 實打實的27b dense模型相比
→ GenShoku: 目前單卡本地的天花板就是qwen3.6 27b，
→ GenShoku: 找個破限跟opus蒸餾版，基本可以當一個
→ GenShoku: 全能小模型
推 yymeow: 我覺得寫文章還行，不過現下買32G的卡主要
→ yymeow: 拿來跑圖比較香
→ crimsonmoon9: 原來如此 測試的時候都只看前面跟測
→ crimsonmoon9: TTFT而已沒注意到性能差這麼多
推 a29022792: 26ba4b超爛 實際上幾乎處於不能用的程
→ a29022792: 度
→ a29022792: 我覺得他比gemini cli的mini?還差 而3.
→ a29022792: 1flash就已經很難用了 處於幾乎不能信
→ a29022792: 任的狀態
推 GenShoku: Qwen3.6 27b > gemma4 31b > qwen3.6 35
→ GenShoku: b a3b > gemma4 12b > gemma4 26b a4b
推 Bustycat: 聊天倒是比Qwen有感情
推 wei115: gemma 4還是有好處啦 他道德感超強，用解
→ wei115: 鎖模型他還會非常激動的指正你，但又不得
→ wei115: 不回答，非常有女騎士的感覺，Qwen就很無
→ wei115: 聊，解鎖模型就跟沒有羞恥心似的
推 xylophone135: Qwen3.5之後就冷冰冰了哪有感情
→ xylophone135: Gemma 4 26B A4B用在Agentic確實爛
→ xylophone135: Qwen3.6 35B A3B稍微好一點
→ xylophone135: 之後來試試Dense模型
推 lordmi: 目前20b 以下的MOE只適合檔案整理、簡單
→ lordmi: shell、摘要、approval 。Agent loop 最
→ lordmi: 低限度的智力的最下限目前還在Qwen3.6-27
→ lordmi: B Gemma 4 31B，+ Q4/Q5 + 100K context
→ lordmi: + 量化 KV加上其他配套至少要48的統一記
→ lordmi: 憶體或者VRAM低於這個規格的機器就別想了
推 setsuha: Gemma 4聽起來太澀了ㄅ
推 pphyy5844548: 請問這樣拿來評分英文短文的話，用
→ pphyy5844548: Qwen 27B可以跑嗎？ 目前是5080+3
→ pphyy5844548: 2G RAM
推 GenShoku: Qwen3.6 27b Q4量化 + 128K上下文 + K Q
→ GenShoku: 8 + V Q4_1，應該是塞得進32G顯卡內啦，
→ GenShoku: 印象中
推 stlinman: Qwen 3.6 27B 好像跑的久但完成率可以拉
→ stlinman: 高! 在意品質還是稠密模型會比MoE強啦。
推 GenShoku: 評分文章的需求有點模糊，但摘要應該沒
→ GenShoku: 啥問題，本地小模型指令理解度沒有大廠
→ GenShoku: 線上模型好，需要明確的指令
※ 編輯: tacovirus (101.9.103.172 臺灣), 07/06/2026 13:53:58
推 giantwinter: 26B沒用阿
推 jhjhs33504: MoE伺服器友善強在多終端記憶體利用率
推 jhjhs33504: 缺點是帳面總參數不是實際活躍參數量
→ jhjhs33504: 就是用小部分參數當寫手 品質不如稠密
推 Supasizeit: 我看你們是沒玩過破防的gemma4
推 pxhome: 你聽好了，你的目標是跑AI，
→ pxhome: 要以GPU優先，其他的CPU & DDR是第幾代的
→ pxhome: 通通都不是重點。
→ pxhome: 第一主機板一定要找有兩條PCIe X16插槽的
→ pxhome: ，VRAM是你的一切這很重要！
→ pxhome: GPU請直接拿買N卡， 至少遇到問題用GPT還
→ pxhome: 能快速幫你解決。
→ pxhome: N卡在雲端上的分支計畫資源最豐富，實裝
→ pxhome: 難度也最小，還有NVIDIA 提供的集裝箱，下
→ pxhome: 載及用，省下為了最佳化重新編譯的時間也
→ pxhome: 不用擔心安裝後搞亂系統，讓你把精力放在
→ pxhome: 產出的品質上。
→ pxhome: 驅動還是工具鏈穩定是必須的，在這個基礎
→ pxhome: 上你才能針對需求去切換效果更好的模型。
→ pxhome: 比如說無道德審查模型，量化版的A卡沒有幾
→ pxhome: 個能用。
→ pxhome: 最後別被I卡的VRAM給騙了，B70 32GB漲價
→ pxhome: 後的價錢都可以買兩張5060 Ti 16GB，實際
→ pxhome: 上就只是一張吃電290W的3060Ti，算力還不
→ pxhome: 如5050。
→ pxhome: 更別提5060Ti X2這個高CP值的組合，NVFP4
→ pxhome: 用對量化模型產出可以妣美4090，遇到只有F
→ pxhome: P8的老模型打開FlashAttention 3也可以追
→ pxhome: 平3090。
→ pxhome: DDR4 2133 ECC 16GBX4 (6千NTD有找)
→ pxhome: 5900XT & X570 WS ACE看看還能不能搞到手
→ pxhome: 。
→ pxhome: DDR3 1866四通道（頻寬接近D5 6K雙通道）
→ pxhome: 但是有些人無法接受洋垃圾，對於DRAM組建2
→ pxhome: 56GB的成本最低是事實啊！
→ pxhome: MoE模型相對於稠密模型來說，每次獲得到
→ pxhome: 的結果差異性很大
→ pxhome: 你將來一定會被B70單卡的推理速度慢到受
→ pxhome: 不了，再加一張B70讓算力達到9070XT單卡
→ pxhome: 的水平。
→ pxhome: 32GB通常都是跑30-35B
推 are2: 26B MOE那水平要我掏錢我都懶
推 jhjhs33504: 26B QAT輸出品質約與兩倍E4B QAT相當
推 dsin: ddr3 1866x4 接近 ddr5 6000x2 這什麼笑話？
→ pxhome: 這不是笑話，自己找圖比較
→ pxhome: 一樣的GDDR7 128Bit =896 bit GDDR6 256Bi
→ pxhome: t
→ pxhome: 那個896是AI亂加的XD
→ pxhome: 1866四通道60GB/s（X79)
→ pxhome: ，6000雙通道只有47GB/s因為你用的是AMD
→ pxhome: 9600X & DDR5 6000已經測到爛了
→ pxhome: AMD因為IO Die和IF總線，雙通道沒有吃滿，
→ pxhome: 記憶體性能下降25%左右。 算AI還是挑Intel
→ pxhome: 比較適合
→ pxhome: 挑便宜的買即可
推 ck203l5: 最近也在考慮洋垃圾AI機，低成本雙PCIE
→ ck203l5: 實在太香，順便借個文請問一下樓上有無
→ ck203l5: 測過2張5060Ti都跑在PCIE3.0 X8情況下
→ ck203l5: 跑AI推論效能大概損失多少? 謝謝
→ ck203l5: 5060Ti大硬傷就是只有物理X8通道，裝在洋
→ ck203l5: 垃圾主機板上最高就只剩下PCIE3 X8而已
推 yymeow: 我試過兩張5060TI，主板是華碩Pro WS Z890
→ yymeow: ACE SE。撇開PCIe減損的問題，比較大的問
→ yymeow: 題是要找支援張量並行的部屬方案，比如
→ yymeow: vLLM。下一個問題是要找到適用在vLLM的量
→ yymeow: 化模型，會比單卡32G的限制要多
→ yymeow: 例如單卡32G在ollama下很容易就找到qwen
→ yymeow: 3.6 27Bq4，但是vLLM要在hugging face下找
→ yymeow: 官方只有提供非量化的，要不就要自己再量
→ yymeow: 化了
→ pxhome: 張量平行是假議題，Ollama用對模型也可以
→ pxhome: 破百Tokens /s， 5060Ti 16GB X2根本不用
→ pxhome: 去考慮.cpp還是vLLM
→ pxhome: RTX50初始算力高有本錢折騰，不用搞那些
→ pxhome: 花里胡俏的，把FlashAttention打開性能自
→ pxhome: 然就出來
推 pxhome: PCIe減損也不用擔心，只要PCI error值為零
→ pxhome: ， 就算用老舊的PCIe2.0X8對性能影響也不
→ pxhome: 到5%。
推 pxhome: 以5060Ti來說，用Ollama跑NV官網公告的Gem
→ pxhome: ma4 26B如果是線性成長，單卡40T雙卡80T四
→ pxhome: 卡160T但實際上是單卡20T雙卡80四卡200。
→ pxhome: vllm張量平行的增加幅度還沒有這麼誇張，
→ pxhome: 我認為問題要放在第一字的回應延時，四通
→ pxhome: 道D4 2400 76.8GB/s 最快還要歷時0.9秒，
→ pxhome: 沒辦法像雲端AI那樣控制在毫秒等級，目前D
→ pxhome: 5 8800雙通道140GB/s也沒有辦法做到。
推 lordmi: Qwen可以雙卡llama.cpp 21t/s vLLM 60 t/s
→ lordmi: 但如果是一次只有 1～2 個 Agent 在運行
→ lordmi: 部署簡單、回應快，那llama體感好
→ lordmi: 要Interactive Chat 很舒服那就不用考慮
→ lordmi: vLLM是高併發高用量自己7x24的環境更適合
推 pxhome: 考慮高併發的話，例如3人同時上線，KV Cac
→ pxhome: he就只能限制在16K以下， VRAM佔用量增加5
→ pxhome: 0%，
→ pxhome: 超長上下文比如說100K在部署上的難度顯著
→ pxhome: 增加。
→ pxhome: 因為VRAM對於本地AI是寸土寸金
→ pxhome: 所以目前我把它當單機操作，最多就是同時
→ pxhome: 執行Qwen 3.6 35B和Gemma3 27B無道德審查
→ pxhome: 模型，
→ pxhome: 框架之間的差異對我來說無感。
→ pxhome: 除非將來PEX89096 PCIe5.0 Swtich擴充板量
→ pxhome: 產，讓我可以同時使用6張5060Ti 16GB一共9
→ pxhome: 6GB，這樣vLLM建立家用AI工作站才有意義，
→ pxhome: 但說不定RTX50會是末代8Pin的60Ti。
→ pxhome: 商用本地AI的話，首字回應延時必須控制在
→ pxhome: 毫秒等級， 目前的消費級的平台都不可行。
→ pxhome: 理想值是0.2-0.3秒
推 TameFoxx: TTFT毫秒也要看你input長度多少
→ TameFoxx: 你丟十萬以上，雲端也沒法那麼快
推 moonkuma: 樓上有個用ai 在亂回答，什麽無審查版模
→ moonkuma: 型amd不能用,聽他在鬼扯全篇都在誤導，a
→ moonkuma: md cpu記憶體沒比較慢9800x3d用6000 cl3
→ moonkuma: 0一樣能跑出80-90多gb/s但是模型 oom太
→ moonkuma: 多到系統記憶體也是會很慢，隨之在讓ai
→ moonkuma: agent工作時也會一直超時，另外別去用x9
→ moonkuma: 9洋垃圾組雙卡，1866/2133/2400這種就算
→ moonkuma: 8通道因為cpu太弱架構太舊我用過反而比
→ moonkuma: 新平台單卡慢、還不如用單卡限縮一下上
→ moonkuma: 下文。我個人是用7600x組a+n雙卡7900xtx
→ moonkuma: 跑qwen3.6 27b q4無審查副卡3080 20gb跑
→ moonkuma: comfyui，試過3080 20gb雙卡結果就像前
→ moonkuma: 面說的卡在平台太老舊之後入手能x8+x8的
→ moonkuma: am5或intel平台再來試，組雙卡可以看看i
→ moonkuma: ntel平台建構成本比較便宜可以用比較便
→ moonkuma: 宜的ddr4+z690+12400,另外可以用螢幕不
→ moonkuma: 接顯卡讓vram最大化，intel堪用的內顯可
→ moonkuma: 以掛網跑些網遊，ram夠大可以再掛些模擬
→ moonkuma: 器,amd apu pcie通道太少 7、9000的2cu
→ moonkuma: 內顯實在太弱了
推 laeva75: 多卡跑--split-mode layer的話，PCIe影
→ laeva75: 響也不大吧？
推 TameFoxx: 是 vllm 用tp串連，pcie影響不大
推 are2: 前面很多都錯誤訊息 這篇廢樓了
→ pxhome: 雙PCIe的主機板越來越少，還要跟M2共享頻
→ pxhome: 寬， 難道要拿SATA硬幹？
推 pxhome: D5 6000 雙通最多就是90GB/s 聽你在吹？ A
→ pxhome: MD記憶體弱本來就是事實，有多卡需求一定
→ pxhome: 是上EPYC了， 我只是模擬PCIe2.0對產出的
→ pxhome: 影響
推 pxhome: 還說9800X3D？ 我從頭到尾說的是GPU推理，
→ pxhome:  CPU只是配角
→ pxhome: 首字延時不是提示詞決定，而是你一次最大
→ pxhome: 生成字數決定的，Gemma4它的上限是8192
→ pxhome: 是怎樣？ 講AMD不好就影響你的股價？
推 moonkuma: 只會用ai亂答的就別出來丟人，你有真的
→ moonkuma: 架過本地部署嗎？我是實際使用過的心得
→ moonkuma: 9800x3d ddr5 6000是我的遊戲機aida64
→ moonkuma: 寫入我測出來就是90gb/s，我也拿來裝過
→ moonkuma: 本地部署最終還是回歸遊戲機的使用， 76
→ moonkuma: 00x a+n雙卡是我目前的本地部署，在這之
→ moonkuma: 前嘗試過x570沒內顯會吃掉一些顯存跑ai
→ moonkuma: 時看yt或開網頁查資料都會吃掉不少vram,
→ moonkuma: 也用過雙路8通道加雙卡3080一起跑27b q4
→ moonkuma:  q6模型跑起來瓦特計直接突破700w光待機
→ moonkuma: 就突破150w房間溫度都提高幾度了，跑35b
→ moonkuma:  moe模型可以降到500w左右但只能對話或
→ moonkuma: 做簡單的工作，我用的是技嘉的c612雙路
→ moonkuma: 主板,當然使用更高階有雙pcie4.0x16的ep
→ moonkuma: yc可能不會遇到跟我一樣雙卡速度提升不
→ moonkuma: 明顯，瓶頸應該是在cpu太舊時脈太低，然
→ moonkuma: 後a黑的你幹嘛推epyc你不知道這是amd的c
→ moonkuma: pu嗎？不是說amd的就是慢又有問題嗎？
→ moonkuma:  最後在能耗跟性能取捨最終用了a+n組合
→ moonkuma: 雙卡27b q4到q6都測過，結論日常夠用但
→ moonkuma: 還是會發生鬼打牆亂答，需要花時間調教
→ moonkuma: ，工作上使用還是線上模型聰明省事多了
→ moonkuma: 。
推 oldgooddays: Qwythos Qwable或Ornith這些後天訓
→ oldgooddays: 練過的呢？
→ oldgooddays: 尤其是dense的？
→ GenShoku: 要看模型 很多都只針對輕量文本如32K-64
→ GenShoku: K訓練的 拉到128K-256K就注意力渙散+思
→ GenShoku: 考無限loop率提高 要自己看好模型訓練說
→ GenShoku: 明跟社群實測結果