[請益] AI用卡請益

[capcomjohnny (魯到開店)]

大家早安大家好，最近在跑一些自用模型時，總發現顯卡的ram不夠用，有點換換病發作
，?

原設備：
CPU:12400
GPU:4070ti12g
RAM:32g
電供:850W
用途就是打打lol跟星海，蠻少玩大作的，螢幕還是1080P的，大概是沒什麼遊戲壓力。
因為有辦法跑中國保固，所以最近在看一些魔改類的。

便宜：

2080ti22g
優點：便宜，CP值高
缺點：舊、慢、缺了一些精度、礦、只保1年

3090 24g
優點：CP值高
缺點：熱爆、過保、礦

貴爛：

4090 48g
優點：BIOS直上，啥都不用改，保3年，強的要死
缺點：渦輪跟戰鬥機一樣吵(滿載60分貝)、商家可能跑路、窮、窮、窮

4090 24G
優點：強、原廠在顧
缺點：旁邊有個3年保的48G、買不到、跟48G差沒多少

5090 32G
優點：更強、原廠在顧
缺點：我買不到、窮、窮、窮、窮


好像現在比較好玩的就這幾張，如果發言很新手的話，沒錯，剛玩沒多久，也沒有什麼生
產
老黃就不能出一張RAM大一點的效能差一點的卡嗎@@
4070ti只有這個玩不了跟那個玩不了，另外想請教一下，這樣狗騎呂布應該不太影響玩AI
吧
謝謝大家

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 124.199.97.67 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1742263365.A.6E5.html
→ yocpswang: 等大船v100
好像...好像可以耶.不過這個能跑遊戲嗎
→ jasn4560: 超過16G都是貴啊 如果16G能跑
→ jasn4560: 撿張4070TiS加減用吧
最終下下策
推 Shigeru777: Project DIGIT / Mac Studio
一直有點好奇project digit的顯存到底多大，看不懂規格
推 EnosKP: 首推RTX PRO 6000
把我賣掉也買不起啊
推 tsubasawolfy: 寄去對面升級vram？
直接去對面買，這邊買去升級價差不大
推 kid1412sonic: 捏一下上5090
11萬的還能想想，20萬的把我殺了
推 Jackey52013: 能跑的都買不到，夢裡吧
睡覺睡覺
※ 編輯: capcomjohnny (39.9.101.119 臺灣), 03/18/2025 10:36:54
推 isoBlue: 我現在跑LLama3.3 70B是用4090+5090
→ isoBlue: 這樣所有的Layer都可以Load到GPU上
→ isoBlue: Q4的Quantization，還有VRAM放Context
→ destroyss: 4090 48G捏下去最快 25K CNY
目前最大的vram了
→ isoBlue: 文字生成大概在15t/s
4090+5090太壕了
→ isoBlue: 以CP值來說最高還是二、三手的3090多張
→ Ceferino: vram怎麼會不夠用呢，5070 12g都有人在
→ Ceferino: 吹跑AI了
吹，往死裡吹
→ barbarian579: 4070tis跑gemma3:27b跟qwq:32b推理
→ barbarian579:  結論：真心推薦直上5090
可惜買不到
→ soulgem: 忍不住就去買最新的全 vram 筆電吧...
→ soulgem: 但是全 vram 筆電可能無法滿足遊戲需求
→ soulgem: 不然就是 DRAM 拉到頂... 只拉得到 256G
全vram可能還不流行，剛剛爬了一下難道是在說project digit
推 kme6833291: fun科技有用兩張intel 770
→ kme6833291: 能跟4090差不多
等等來看一下
推 guogu: 32B的模型用12 16GB的顯卡應該是塞不進vram
推 kkes0001: was
※ 編輯: capcomjohnny (1.172.131.51 臺灣), 03/18/2025 12:17:10
→ sino6445: 不在乎速度的話，Ram上128G，用CPU跑，
→ sino6445: 可以用90B的模型
→ a4537: Project DIGIT / Mac Studio 都是統一記憶
→ a4537: 體，ram=vram
噢噢噢原來是這個意思，那我這樣10萬買到128g的顯存他不香嗎？
→ a4537: 所以上網看不少人拿Mac Studio跑AI，CP值
→ a4537: 很高
我連linux都不太會用QQ
→ a4537: 我是在等Project DIGIT，希望上市時可以買
→ a4537: 得到XD
推 a71245969: 大船V100 32g也是貴到哭 看下來只有409
→ a71245969: 0 48gb有點搞頭 但還是超貴
→ a71245969: 4張3090除了超熱 電源穩定性也很不家
→ a71245969: 用
我可能一個迴路還會跳電
推 Shigeru777: https://reurl.cc/AMqOvj
→ Shigeru777: 有在考慮買256GB M3 ultra Mac Studio
→ a71245969: MAC跑AI看中國論壇跟reddit 說用開源
→ a71245969: 的project很不方便，現在還是cuda 當道
老黃獨佔
→ a71245969: QQ
推 kme6833291: intel 770玩星海跟lol沒有問題
推 guogu: Mac我記得看測試速度跟顯卡比有落差
→ guogu: 但還是屌打一般用cpu跑
→ guogu: 還有超大ram可以跑比較大的模型
※ 編輯: capcomjohnny (39.9.101.119 臺灣), 03/18/2025 14:12:00
推 saiboos: H100
推 SexyEunha: 有考慮撿二手3090嗎
推 Shigeru777: 看過討論m3 ultra 跑 AI 性能接近 309
→ Shigeru777: 0 把他當超大vram又省電的3090
對於蘋果系統感到十分陌生
推 cutejojocat: 心臟大就2080ti22g或是4090 48g,
大啊，但出事可能會有病，哈哈
→ cutejojocat: 貴是缺點的話m3 ultra也沒便宜多少吧
推 Ghosts: Arc A770 可以跑沒錯，前提是你會用
不會，一點也不
→ Ghosts: 別看fun科技跑量化模型很輕鬆
→ Ghosts: 基礎配置麻煩的很，那個教學完全是在繞路
→ Ghosts: 裝ipex llm第一要件就是全用docker
→ Ghosts: 然後要定頻，不然會發現token/s不如預期
推 jhjhs33504: 不管ram也好vram也好中間還有那才重點
推 z83420123: 可以直接4卡V100 16G阿 但整套要重弄
→ z83420123: V100 16G 好像850RMB吧
推 ouskit: mac最划
推 Bambe: 直接MacStudio頂規512G RAM可以跑600b
推 promaster: 用過一陣子魔改2080ti 22G是真的超值
好耶這個聽起來蠻棒的
→ promaster: 跑kohya_ss還可小贏4070ti
推 promaster: 至於魔改4090 48G則是智商稅
→ promaster: 捏多一點買6k Ada全新更有價值
看起來不像是多捏一點，哈哈
※ 編輯: capcomjohnny (1.172.131.51 臺灣), 03/18/2025 22:33:16
噓 yeeouo: mac划算？？？2token每秒欸
→ yeeouo: epyc組起來更便宜還更快不是？
→ yeeouo: https://i.imgur.com/FBasVuw.jpeg
→ yeeouo: 台灣真的很迷信mac耶...
推 mmmbop: 70b不是13,68t/s嗎？ 同價位PC做的到嗎
→ mmmbop: 樓上是在大聲什麼啦？