推 Supasizeit: 其實oss-20b 根本用不了多少VRAM跟算203.204.195.174 08/11 22:56
→ Supasizeit: 力,然後5090也跑不動120b203.204.195.174 08/11 22:56
→ yskbkwh: 想像了一下 母湯 220.141.18.207 08/11 23:14
推 jkiu: 32GB老實說還是不夠,context size 也要考慮 61.231.38.215 08/11 23:19
→ jkiu: 一下,spark或amd那個395感覺都比較有可用性 61.231.38.215 08/11 23:19
→ jkiu: ,不過如果不論資料隱私單純考慮經濟性的話 61.231.38.215 08/11 23:19
→ jkiu: ,買api來用最划算 61.231.38.215 08/11 23:19
→ yskbkwh: 不建議用這種殼折磨你的高階硬體 220.141.18.207 08/11 23:19
→ Zenryaku: 這種配備請拿一個又大散熱又好的機殼給 114.36.25.54 08/11 23:25
→ Zenryaku: 他們好嗎 114.36.25.54 08/11 23:25
→ Zenryaku: 記憶體不用拿超頻條 114.36.25.54 08/11 23:26
推 EnosKP: 貓有機會頂側板 太一敗了 1.169.86.109 08/11 23:30
推 jhjhs33504: 120b可以簡單的用CPU跑RAM不夠就開大 1.162.103.16 08/12 01:20
→ jhjhs33504: 虛擬記憶體來補只是沒有足夠VRAM的話 1.162.103.16 08/12 01:20
→ jhjhs33504: GPU能加速的有限 1.162.103.16 08/12 01:20
推 jhjhs33504: 不然就用隔壁的統一記憶體架構conte 1.162.103.16 08/12 01:24
→ jhjhs33504: xt size 大的話也需要佔用swap 1.162.103.16 08/12 01:24
推 jhjhs33504: 提示詞調好一般使用情境的確很像min 1.162.103.16 08/12 01:30
→ jhjhs33504: i版的ChatGPT model 1.162.103.16 08/12 01:30
推 jhjhs33504: 只是不曉得AMD跟5090的運算品質哪個 1.162.103.16 08/12 01:33
→ jhjhs33504: 好? 1.162.103.16 08/12 01:33
→ cutejojocat: 120b組到64單跑還可以 穩定建議96g 36.229.197.149 08/12 01:53
→ cutejojocat: 顯卡跑20b就差不多了 塔散沒必要選 36.229.197.149 08/12 01:53
→ cutejojocat: 貓 36.229.197.149 08/12 01:53
推 Supasizeit: 120b在那邊資料搬來搬去太慢了啦203.204.195.174 08/12 11:30
→ Supasizeit: 那是設計給你四張5090用的203.204.195.174 08/12 11:31
→ linzero: 機殼跟塔扇都是165mm,這種是要預留多少 36.226.198.237 08/12 11:42
→ linzero: 空間較合適? 36.226.198.237 08/12 11:42
推 lordmi: 395+的市場定位一直很怪,只有學校上ai課223.137.121.173 08/12 14:19
→ lordmi: 這種樣樣通樣樣鬆的情境才會好用,商用預223.137.121.173 08/12 14:19
→ lordmi: 算往上加有更好用的Mac studio223.137.121.173 08/12 14:19