Re: [標的] AAPL M5 Ultra對企業端產生的影響 多

[a655088 (a65)]

近期mac的模型也算有突破

自從mtplx (MTP技術移植到MAC)出來後

本機跑
m4_max_36g
Qwen 3.6 35BA3B_6 bit(30g)_
        prefill :860, TG:90~100 token

m5_pro_64g
Qwen 3.6 35BA3B_6 bit(30g)_
        prefill :400~500, TG:80~90 token
Qweb 3.8 27b_8bit
        prefill : 150 ,TG:25~30 token

整個幾乎到可以幹活的階段,實際測試了一週也沒什麼大問題

裝了harness做tool calling,對財務報表準度也非常夠

一台m5 max 輕度大概3~5人小型辦公室使用沒什麼問題

打NV 80系列以下是ok的,對5080,5090的優勢大概就是容易養吧

5090需要一堆環境設備支持,小辦公室可能做不到


※ 引述《ripple0129 (perry)》之銘言：
: 我倒覺得Apple是有錢的個人玩家才是大宗
: 企業應對需求RTX pro 6000才是正解
: Mac Studio最大最大的優勢是
: 安靜與省電
: 除非有人想在家裡搞個熱烘烘
: 風扇聲大的要死的機器
: 企業來說推論速度要夠快
: 甚至是可以應付多人推論使用
: 以Mac的速度處理不來
: 企業需求是重複性且量大不出錯的需求
: 譬如大量讀取PDF文件
: 大量讀取圖片影片
: 消化速度遠低於業務進來速度
: 這就達不到企業要的效果
: 而加上資安或法規問題
: 更是沒辦法使用雲端API的狀況
: 本地高速推論對企業來說就是硬需求
: Mac的速度遠遠無法支撐
: ※ 引述《seemoon2000 (no cash)》之銘言：
: : 標的：(AAPL)
: : 分類：多 (請選擇並刪除無關分類)
: : 分析/正文：
: : 蘋果今天公布了M5 Ultra和M6
: : M5 Ultra試點了一下
: : M5 Ultra+256gb ram+8TB硬碟 50.8萬台幣
: : 乍看之下這價格好像不便宜
: : 有在玩本地LLM的都會知道
: : 現在瓶頸是記憶體頻寬，顯卡算力在本地端很多是過剩的
: : 我比較一下現在主流的產品
: : 記憶體頻寬:
: : Apple M5 Ultra(完整的一台Mac電腦)
: : 售價50萬 統一記憶體256GB:1200GB/s
: : RTX 5090
: : 市價17萬 Vram32GB:1792GB/s
: : RTX PRO 6000:(純顯卡)
: : 市價57萬 Vram96GB:1792GB/s
: : RTX5080:純顯卡)
: : 市價5.2萬 Vram16GB:960GB/s
: : RTX5070ti:純顯卡)
: : 市價4.9萬 Vram16GB:896GB/s
: : NVIDIA DGX:(完整的一台Linux電腦)
: : 市價15~20萬 統一記憶體128GB:273GB/s
: : AMD Ryzen AI Max+ 395:(完整的一台Win/Linux電腦)
: : 市價9萬 統一記憶體128GB:256GB/s
: : 這陣子顯卡和DGX漲價，除了記憶體價格上漲，我個人觀點
: : 主要也有一部分小型企業有開始買多卡佈署較低成本的方案
: : 但這波上面所有價位段的競品，"沒有一個"能跟M5 Ultra比較，唯一稍微能比的只有RT
: X
: : PRO 6000，記憶體頻寬更高，但96GBVram也輸M5 Ultra的256/512GB，而且M5是整台電
: 腦
: : ，賣得還比純顯卡PRO 6000便宜
: : 至於這陣子買到溢價DGX，基本上現在可以安慰自己說
: : 生圖生影片用Cuda跑很快，很開心
: : M5 Ultra這個方案，應該會有不少中型企業開始採用
: : 因為可以直接安裝Deepseek v4 flash或Qwen 3.8 27b，複雜高級任務在調再API模型
: : 這些T2等級的本地模型，對要自己部屬的企業，實用性遠比Kimi K3高多了
: : M5 Ultra加上Deepseek v4 flash和Qwen 3.8 27b就是現在完全破壞中型2B市場的組合
: 。
: : NV老黃現在不可能貿然放生DGX和RTX Pro用戶
: : 等於在中型企業端的市場會變成無法競爭
: : NV應該會開始努力把產品賣給模型公司。
: : 進退場機制：
: :  進場時機 最低305左右 退場時機 NV想出解方後

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.10.167.59 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1787726154.A.5AA.html
※ 編輯: a655088 (101.10.167.59 臺灣), 08/26/2026 14:37:24
→ latw        : 你看那個精美的prefill想讓agent做事?? 嫌時間太多?
推 TameFoxx    : 很認真的文 但這邊很少人看得懂
→ a655088     : 大概3060 12g的等級 也算夠了啦
→ TameFoxx    : 大家普遍觀念就是ram大就是好
→ TameFoxx    : 他這prefill 是毫秒吧
→ TameFoxx    : 但也沒說input長度多少就是了
→ a655088     : 12k內 就是小型企業,個人研究好用
→ a655088     : 大公司還是要乖乖繳NV稅
→ latw        : openclaw或是hermes開場20k就不見了, 我以為128k是
→ latw        : 下限
推 TameFoxx    : 12K這數字也很不錯了
→ TameFoxx    : 不過我自己是覺得用雲端還是划算啦
→ TameFoxx    : 小公司用訂閱的更划算...
→ NexusPrime  : 等實物出來再比看看？ 這是M5 Ultra應該比你的pro
→ NexusPrime  : 強很多
→ latw        : 不過還是希望新MAC給點力,不然pro 6000價格太囂張
→ NexusPrime  : 專業術語直接查線上AI就知道了，現在沒什麼好不懂
→ NexusPrime  : 的，有沒有耐心查而已
推 SilverRH    : 除了搞黃色以外一般公司還是乖乖燒API實在
推 xzcb2008    : 其實關鍵是大家都想跑27b那個吧 moe幻覺要一直想辦
→ xzcb2008    : 法客服很煩
→ xzcb2008    : mptlx跟omlx不知道那個快
→ a655088     : MPTLX快很多
→ a655088     : 地端coding比較弱,但是查資料很不錯ㄌ
推 xzcb2008    : https://i.verb.tw/OcKXUxSc.jpg
→ xzcb2008    : 推你上面第一個模型 也很不錯
推 xzcb2008    : 找機會試試看 你說的mtplx
推 kimula01    : 現在也有很多情色AI短片又不用錢 應該是另一條路
※ 編輯: a655088 (101.10.167.59 臺灣), 08/26/2026 15:54:03
推 strlen      : 會跟你一樣花個幾十萬東搞西搞本地LLM的中小鳳毛麟
→ strlen      : 角 這塊是九牛一毛 企業要的是打開就能運作的
→ strlen      : 哪天看誰出一個整套的連模型都幫你裝好的 中小才會
→ strlen      : 考慮吧