→ linbasohigh: 跑AI的話，至少要買到5090的32G記憶122.121.224.214 02/21 14:06
其實現在有很多框架可以降低 LLM 模型的 VRam 需求量,
我不久前看到一個可以用 8G VRam 跑模型的框架.
當然記憶體大有它的好處,
1.可以跑參數更大的模型,畢竟 7B 以下的 deepseek 是渣?
2.輸出 token 的速度會快一點,畢竟女的一秒叫十聲跟一秒叫二十聲的感覺就不一樣
不過如果你得用四十萬買十二顆 CPU 才能獲贈一張 5090 的話,那還不如...
--
讀者審校網試行版(2018/1/1 更新網址)
http://readerreviewnet.processoroverload.net/
(哲、史、法、政、經、社，人文翻譯書籍錯譯提報網)
◎洪蘭"毀人不倦"舉報專區
http://tinyurl.com/ybfmzwne
讀者需自救，有錯自己改...
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.163.122.193 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1740122535.A.1A5.html
推 yoshilin: 自己在家裡做ai... 222.250.23.234 02/21 15:23
推 tga123: 算圖跟A600還是ada來比怎麼樣都90划算 223.137.20.3 02/21 15:23
推 arrenwu: 7B 什麼模型都滿差的 98.45.195.96 02/21 15:26
→ arrenwu: Deepseek 除了原生 671B 模型之外， 98.45.195.96 02/21 15:27
→ arrenwu: 其他應該都是用 Llama 或 Qwen 蒸餾的 98.45.195.96 02/21 15:27
推 tetani: 70b是我能接受的最低大小218.173.192.109 02/21 15:27
→ tetani: 但這樣也得要2張5090218.173.192.109 02/21 15:28
推 DPP48: 好厲害，我只能自架1.5B 1.200.153.121 02/21 15:31
推 arrenwu: 12GB VRAM 可以跑 14B 模型 98.45.195.96 02/21 15:32
推 tetani: 現在我在思考自架local的必要性218.173.192.109 02/21 15:33
→ tetani: 到比較好的效果 代價實在高218.173.192.109 02/21 15:33
→ Newtype: 等exo效率上來 多買幾台macmini來跑 111.255.247.52 02/21 15:34
推 SShirakawa: 不是礦就是AI，單純玩個遊戲好困難 49.216.129.66 02/21 15:34
→ tetani: 有限的預算 只能在速度和智商之間選擇其一218.173.192.109 02/21 15:34
→ tetani: 但付費api 會有最難解的審查、資安問題218.173.192.109 02/21 15:35
→ nekoares: 有這錢 不如去買Nvidia出的專用mini PC 111.248.82.229 02/21 15:37
→ freeunixer: nv 的 GB20 效能不一定會有你期待的好118.163.122.193 02/21 15:46
→ freeunixer: 因為它的 ram 是 cpu 跟 gpu 共用118.163.122.193 02/21 15:47
→ freeunixer: 而且它一台超過新台幣十萬118.163.122.193 02/21 15:47
→ tetani: nv那台的壞消息 好像只是用來測試用218.173.192.109 02/21 15:50
→ tetani: 測試能跑起來 然後推送到大型的伺服器218.173.192.109 02/21 15:50
推 applejone: 系統記憶體夠大 可以安裝滿血版的AI 140.112.14.15 02/21 15:50
→ tetani: 協助你開發而已 速度沒辦法當生產力工具218.173.192.109 02/21 15:51
→ applejone: 不一定要用GPU 不過那個速度就... 140.112.14.15 02/21 15:51
→ GABA: 我只想知道這樣搞夏天電費多少? 223.139.45.97 02/21 18:30