Re: [新聞] AMD處理器壓倒性勝利 市佔率飆至92%

[zzahoward (Cheshire Cat)]

關於AMD呢，在老黃GPU又貴產量又少的狀態下

目前已經不少人找方法剔除不用GPU的方式去建立Local LLaMA了

在R1橫空出世後的一個多月內，大量公司/個人小型workstation已經開發出一些東西

之後系統商和模型/權重持續最佳化狀態下，應該能有更好的產出

簡單來說，這套系統最重要的就是RAM頻寬和大小

所以使用EPYC MZ73板子，可以有24個DDR5通道

全部插滿32GB ram，啟動時有足夠的SSD空間把R1丟到RAM裡面就好

這樣的設定可以在Q8狀態下去跑完整模型，而不是蒸餾過的

當然，這樣的配置不會有700GB VRAM的機器還快

但你有700GB VRAM的設備大概要12萬USD左右

以目前這套大概不到6000 USD就可以組出來的設備，產出約在6~8tok/s左右

但要是AMD和系統廠能夠合作推出更專業的產品

R1目前的開源以及社群的熱絡，可以讓老黃的GPU變成CP值超低的奢侈品

而目前EPYC這樣的配置，已經足夠多數中小型企業/軟體公司使用

甚至比你去租賃算力還便宜

AMD就算GPU在搞笑，但AI的部分絕對不會缺席

只要老黃故意把VRAM卡在那邊拿翹

拿時間換錢的企業和個人使用者不需要那麼快的生成

AMD和系統廠包裝一下大有搞頭好嗎

BTW，因為主要瓶頸是RAM頻寬和大小，所以CPU本身也不用太高階的，夠算就好了

就算用9115或是9015也不會損失太多

能耗部分也很省，上面那組系統耗電量大概就是在400W左右

想想你跟老黃買到700GB的Vram去佈署，要花多少電XDDD

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 136.226.240.114 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1738808680.A.A73.html
推 uke823      : 99AMD
噓 BMTH5566    : apple：
M4 pro也可以跑喔，效率非常好，只是水果店RAM都焊死的超貴
所以只能跑蒸餾過得比較好
※ 編輯: zzahoward (136.226.240.114 臺灣), 02/06/2025 10:30:37
推 jeangodard  : LLM後 AI的下一步是什麼
→ LDPC        : 5090就夠了 還有之後的老黃Project DIGITS
推 stlinman    : 訓練和推理本來存在差異。目前CP值應該租賃算力<本
→ goodjop     : 這比較偏終端吧  別老是拿終端比雲端
→ stlinman    : 地部屬。 除非有資訊安全、隱私的需求不然長期還是
→ stlinman    : 偏雲端。
→ stlinman    :                              租賃算力 > 本地部屬
→ jayemshow   : 我也是這樣想 買入AMD套到現在 供參
推 Roger5566   : 推 所以AMD可以進場囉
→ lc85301     : 99AMD
→ bnn         : 99AMD 沒啦 這表示板子頻寬問題 要炒CPO嗎
推 CMPunk      : 我等AMD二位數再進場 沒有就算了
→ JoeyChen    : 教主會再出山嗎
噓 PureAnSimple: 要做多了嗎？只分析沒錢賺
推 koebel0521  : 99 AMD
→ v21638245   : 想太多，amd寄生售價還少嗎
推 s987692     : 股版一堆人還在看gaap eps…真的傻眼
→ wr          : 簡單來說~ 99AMD
推 kuan870704  : 想太多，AMD只要發現這樣有利可圖馬上就會漲價到cp
→ kuan870704  : 值跟老黃一樣低ㄏㄏ
→ kuan870704  : 黑暗騎士的小丑就說過了如果你很擅長某件事千萬別免
→ kuan870704  : 費去做
推 mcgrady12336: 你這篇一年前彥州包圍網講過了，後來他也放棄直接
→ mcgrady12336: 投奔老黃，八成又什麼技術壟斷無法短期克服
→ ader888     : 絕對不會缺席，只是不公布營收了
推 deann       : 水果店的RAM可以變成VRAM來用
→ IBIZA       : 這篇講的跟AMD沒有直接關係
→ IBIZA       : 這篇是說你可以用支援多通道記憶體的CPU架構, 把完
→ IBIZA       : 整版的R3 load到記憶體跑, 只要記憶體有三百多G就可
→ IBIZA       : 以
推 moike22     : AMD:我的股價不是這麼說的QQ
噓 LMgogo      : 股價？
噓 lise1017    : 大量公司早就已經不用晶片來訓練模型了 最新發現原
→ lise1017    : 來用泡麵也可以訓練大模型 有人正在嘗試看看用麥香
→ lise1017    : 能不能 你還在用晶片 呵呵
→ lise1017    : 用300x300的阿Q桶麵訓練出來的大模型效率居然等同
→ lise1017    : GPT 據說泡菜口味效能更甚
推 Lowpapa     : 晶片已死
推 youtrue     : 結果股價一塌糊塗