[問題] 要多少GPU ram才能自己養一個neuro

[attacksoil (第三方程式)]

語音轉文字應該whisper就無敵了

文字轉文字有llama3.2

文字轉語音選擇很多

延遲是個問題 還有中間的檢索資料庫要怎麼架
但假設對延遲有一定容忍 就看她一個人在那裡嘴

需要多少RAM才能自己養一個neuro???

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.137.137.64 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1728475641.A.E15.html
推 toulio81: vedal好像是用租的
有在靠ai賺錢的租可以
自己玩玩感覺還是自己組划算
噓 justpopcorn: 問就是4090
24GB 不確定夠不夠
※ 編輯: attacksoil (223.137.137.64 臺灣), 10/09/2024 20:27:04
→ lay10521: 租個A100
推 vios10009: 租GPT API
推 miname: llama其實是dram benchmark, 記憶體需求就是版本號，7B=7G
→ miname: B以此類推
7b 實際跑通常要10到16gb不等
※ 編輯: attacksoil (223.137.137.64 臺灣), 10/09/2024 22:49:38