[問卦] 請問如果要架設自己的ai主機

[pennyleo (今朝有酒今朝醉)]

請問
如果要假設自己的ai主機

如果不要架語言模型這種高運算的

顯卡rtx 16g和24g能用的模型數量會「差很多」嗎？

我聽很多人說16g的越來越不好用

但是如果只是想買來練習自己架設環境的能力，還有怎麼弄好rag檢索等等功能

16g可以嗎？

因為24g的顯卡，比16的貴上一倍多的價格

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.137.210.254 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1772529399.A.C27.html
噓 bluebluelan: 別鬧了 你至少要裝gpt oss 120b
推 Supasizeit: 3b 什麼顯卡跑不動
噓 b9021008: llm
→ adios881: 會 要就盡可能最大
→ adios881: 16已經是基本款在2026
→ adios881: 我是畫色圖色影片的16要珊珊剪剪
→ adios881: 更不用說你用之後主流的 transformer
→ adios881: transformer 色圖核心 16 已經很痛苦
→ adios881: (8g還在賣的真的都是垃圾）
→ adios881: 如果要 同時 跑無色情限制的文字AI
→ adios881: 讓它自己產題詞給色圖Ai
→ adios881: 騎馬要24 否則文字的很限制
→ gk1329: 這都要問就別瞎忙惹= ÷
→ Forcast: 欸挨挖礦嗎
→ rooo2012: 96g那張 30多萬單卡
推 ghgn: 只是練習用小模型的話 8G都能跑 只是小模型
→ ghgn: 的AI很笨而已
→ a71245969: 不只是數量，顯存小就只能用量化模型也
→ a71245969: 要考慮
→ a71245969: 然後現在跑影片跟圖顯存不夠內存來湊，
→ a71245969: 所以內存也要大大大