Re: [菜單] 120K LLM+SD 5090 AI生成機

[s78513221 (月亮兔)]

怎麼說呢，目前小資玩LLM訓練還是很困難啦
NV專業卡價格超級貴又難買，只能買消費級遊戲卡來擋

雖然有雲端服務商算力平台，但說真的
短租不如長租~~長租不如買斷(沒預算就什麼都沒法用)
而且平台不只租GPU，連VM都得一起建在上面才能用
像GCP台灣節點能租到的也就V100，這一張才16G而已
https://cloud.google.com/compute/gpus-pricing
VM/GPU/Storge/Network分開計價，有預算再考慮玩吧

如果只是要玩推理，速度不快有夠大的VRAM也行
但是看一下老黃卡有大VRAM的都不好買，所以嘛
某個用UMA架構能把RAM當VRAM的品牌電腦很有優勢
配上exo框架+雷電網橋組集群打怪也是很不錯

實務上來說國內企業對資料上雲有疑慮，就算可上也要機房落地
自然不考慮國外GPU平台，大概也就Google跟Azure台灣有機房的
而中小企業想跟上AI風潮但預算更少，組90系列當算力也很常聽到
因此本地端跑LLM還是有必要性，玩起來限制也較少
至少先從使用LLM的成本降低才來思考微調訓練LLM的需求...

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.129.145 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1738751914.A.423.html
推 Transposon: 比較好奇有沒有人嘗試過SXM2轉Pcie的
→ Transposon: 方案，V100 SXM2洋垃圾蠻便宜的
→ spfy: 接下來AI MAX可以轉96G的RAM當成VRAM
→ spfy: 等Z13 128G那台出來之後應該會有人測試吧
→ zzahoward: 國外有人搞出便宜6tok/s w/o GPU機器
推 Ghosts: v100現在就雞肋，正經4x, 8x載板太貴
→ Ghosts: 轉接板便宜的沒nvlink，鼓風扇那款貴
→ Ghosts: 正經研究已經轉fp8訓練或微調
→ Ghosts: 而普通人拿v100來推理，速度不行