[請益] 買Nvdia 50系列顯卡跑大模型?

[chanjungwu (chanjung)]

近期想更換顯卡(僅考慮，非必要)，

近期AI越來越強大，

時常我會用到deepseek或其他ai來寫寫程式，

想說未來可能如果自己有一個AI在家裡跑，

若考慮到耗電量

翻譯或是寫程式不曉得會不會划算？

也不曉得跑不跑得動(沒這方面經驗)

可能偶而用於生成圖片報告或ppt等，

想請教這邊是否有大大有經驗，

考慮入手50系列最低階的試試看，跑得動嗎?

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.135.206.240 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/VideoCard/M.1737987104.A.E99.html
→ spfy: 跑不動 不用想太多
→ foodre: 能跑得動的狀置，普通家用插頭都供不了電。
→ shihkai: 要自己訓練模型就別想了，現在終端能跑的都是拿別人訓練
→ shihkai: 好的模型來做推論
→ boringuy: 他只是想跑模型吧,誰會想自己訓練模型
→ boringuy: 去安裝ollama後自己跑模型試試就知道了
→ boringuy: 我的感覺還是花點錢線上跑比較實際
→ Dcpp2015: 跑AI那就是5090了。
推 yocpswang: 不用想，已經買不到了
推 bioleon: 只能買3090 4090 5090
推 lordmi: 目前用3060 12G跑語言小模型，能用。不過未來模型應該是
→ lordmi: 最低16起跳
→ fuyofuyo: 除非要做規定外功能，寫程式訂閱比較實在
→ cp296633: https://ollama.com/library/deepseek-r1/tags
→ cp296633: 4070跑14b(q4_K_M)模型大小9GB 顯存占用也差不多8.9GB
→ cp296633: 獨顯VRAM>6G都能先跑來玩看看啊 ..扣掉下載模型檔案時間
→ cp296633: RUN起來不用5分鐘..
→ cp296633: 教學水管零度有
推 likeapig: 為什麼不是ChatGPT?
推 jhjhs33504: 你想到的 老黃都想過了 等機器人的大腦出貨就知道了
推 WhitePope: 個人跑的模型頂多十億資料等級
→ WhitePope: 與完整模型數千億級的相差甚遠
→ WhitePope: 玩玩可以，不用抱太大期待
→ WhitePope: 連翻譯都翻得文不對題
→ csgod1325: 會跑模型可以直接買張H100來玩架伺服器
推 arrenwu: 我覺得你不妨等到你真的有需求的時候在想這件事情？
→ gainsborough: 感想就是普通人買個M4 mini PRO 64G，雖然慢，但起
→ gainsborough: 碼價格負擔的起，閹割版模型也能跑比較大的，不然
→ gainsborough: 你就算買張5090(如果能買到的話)，32G還是很不夠用
→ gainsborough: 我自己跑14b的deepseek實在很難用
推 doom3: 等老黃的Project Digits
推 roea68roea68: 14b基本是智障 用網頁或api吧 本地對我來說最大用處
→ roea68roea68: 是sakuraLLM+LunaTranslator即時翻譯黃油
→ a779471530: 要跑AI 就是要VRAM 跟CUDE 最大為主  只有90系列
→ a779471530: 目前最香的是 4090 又省電
→ a779471530: 畢竟5090價格已經炒到 15-20萬
→ a779471530: 8萬內買到4090 都是賺 可以夠你戰很久的遊戲跟AI
推 youtrue: 別鬧了 還是訂閱線上完全體吧
推 shokotan: Intel A770可以多張跑大模型
推 saimeitetsu: 線上模型唯一的缺點就NFSW自助餐，只要他認為你有違
→ saimeitetsu: 反就擋，幾乎沒有標準，純寫程式的話不如租用線上服
→ saimeitetsu: 務就好，claude之類的很好用了