[問卦] 16GB顯卡能跑的本地大模型到底實用否?

[naticom (踢踢～)]

我大約一年多前問過如果買M3 Ultra 96GB來跑本地大模型
被回答說洗洗睡，乖乖花錢訂閱雲端服務比較好
不過AI世界一個月如同一年，想要問問大家的意見

主要是我最近用 M5 16GB 載入 qwen 3.5 9B 模型，加上老外鄉民推薦的參數後
竟然可以分析數千行的 python code 再提出不錯的建議
但 MBA M5 跑起來一秒鐘只有 13 token ，真是等到天荒地老
請問板上的30CM AI專家們，如果我搞一張5系列16GB中階顯卡，加上撿來的3080 10GB
兩個可以跑一個很不錯的模型了嗎?

我的用途是幫忙輔助撰寫單個 python 腳本，或是總結 5MB 之內的技術文件

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 165.225.210.217 (加拿大)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1785375577.A.548.html
→ adios881: 真要完還是 spark ㄅ
→ adios881: 16 + 10 可以 只是限制就在那邊
→ gk1329: 跑色圖很好用
→ adios881: 16的拿來跑語言 10的跑到來生小圖
→ gk1329: 跑程式還是要大模型吧
→ adios881: 這樣就可以自己生色提示詞
→ gk1329: 不然你在那邊找bug找半天有比較好嗎
→ gbcg9725: 寫程式不太行
→ gbcg9725: 被線上吊打
→ gbcg9725: 本地還是只能跑qwen3.6的話沒什麼變化
→ yesonline: 跑精簡版的沒問題. 不需要太聰明
推 bitcch: 用量化模型可以到3.6 35B 速度至少快一倍
推 xzcb2008: =.= 你要跑code雲端就好
推 fransice7: AMD 16GB 只能說幾乎跑不動
→ fransice7: 如果有錢就直接砸兩百萬組單機4張5090
→ fransice7: 不然就找門路買中國模改超高VRAM 5090
噓 freeunixer: 洗洗睡