Re: [問卦] ai訓練為什麼一定要記憶體？

[givemoney (香榴槤)]

※ 引述 《robertgarcia (綠頭鴨)》 之銘言：
: 　
: 如題
: 我文組啦
: 現在ddr4跟5漲價超誇張
: 聽說是發展ai要用到一堆記憶體導致
: 　
: 但問題來了
: 為何晶片不能把資料運算完
: 然後就丟到硬碟裡面去存起來就好了？
: 　
: 現在硬碟一個都好幾TB
: RAM一個才幾GB而已
: 一個硬碟可以抵好幾十條的RAM吧
: 　
: 難道都沒有人想到嗎？
: 　


因為大模型在運算的時候要把整個模型載入記憶體才能運作

那你猜猜為什麼叫大模型？

就是靠北大，我運作一個20B的語言模型

這跟現在的主流模型比起來根本就鼻毛大小

但卻吃光了我16G的顯卡記憶體和48Gb的記憶體

然後就只能做出一些文不對題的回答+慢的要命

這不只是浪費記憶體的問題

而是這種成本還能妄想ai服務能回本也是很好笑

==

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.77.78.21 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1767253942.A.088.html
推 gogorice: 真的很難回本…
噓 tpkgo: 急什麼 等蒸餾完就不用佔那麼大了
推 lianpig5566: deepseek不就是在減少吃的資源量？
deepseek量化後胡言亂語非常嚴重，不知道是不是跟這種訓練模式有關係
※ 編輯: givemoney (42.77.78.21 臺灣), 01/01/2026 16:07:47
→ adios881: TPU
→ adios881: Twitter有一篇發文是說GPT的電力成本
→ adios881: 和2008年的GoogleSearch一樣多
→ adios881: 雖然在Reddit引起正反討論
→ adios881: 只是趨勢就是大公司用AI成本會下降
推 andy79323: 公認蒸餾最好的Qwn3 deepseek R1
→ andy79323: 很難用
→ stanwu: 矩陣向量用swap應該會像286電腦render動畫