噓 PunkGrass: 黑心帝國 08/26 10:14
推 tom11725: 我的3060ti希望還能撐到2030年 08/26 10:14
推 Echobee: 1080p繼續退守 08/26 10:15
推 kimisawa: AI那段不對,12G可以放比5050大的模型 08/26 10:16
這句話只對30%
當你模型大到8G塞不下,12G以下可以塞的情況是成立
但是超過12G的時候又反過來,
另外8G塞的下的輕模型也是5050快得多
而且3060不支援FP8 E4M3/E4M2還有INT 4,遇到這種量化模型會被5050按在地上擦..
推 davidex: 問個問題 相同價位 為啥不買9060XT 16G? 08/26 10:18
現在哪裡有同價位的9060XT 16G...
→ kimisawa: 新的minimax 也是3060比較好。 08/26 10:19
→ kimisawa: 還有3060可以當作第二張卡加大vram 08/26 10:21
推 schiffer: 就很多遊戲沒對amd優化啊,id不對你拿再好的卡不支 08/26 10:21
→ schiffer: 援有個毛用 08/26 10:21
※ 編輯: extemjin (114.36.224.51 臺灣), 08/26/2026 10:24:54
推 GenShoku: 這張是買來多卡AI的,你用遊戲性能來看肯定不值 08/26 10:23
推 kimisawa: 打遊戲當然是9060,但3060是來跑AI的 08/26 10:23
※ 編輯: extemjin (114.36.224.51 臺灣), 08/26/2026 10:38:22
推 sleep30hours: 有什麼模型是剛好8GB塞不下而12GB塞得下的嗎? 08/26 10:44
→ sleep30hours: 這年頭不就三個等級:8~9B以下,30B左右,數百B以上 08/26 10:44
→ sleep30hours: 以前還有不少12B~14B的量化後8GB很緊繃,但現在也只 08/26 10:45
推 laeva75: Gemma 12B 08/26 10:46
→ sleep30hours: 剩一個量化的Gemma4 12B僅此一家了。 08/26 10:46
→ laeva75: 單純跑minimax h3擴容買DRAM比買3060划算簡單.... 08/26 10:48
→ laeva75: VRAM大一點同一模型可以用更高精度的量化減少能力損失 08/26 10:50
→ gbcg9725: 9060XT跟漲價後3060都是15k 08/26 10:51
→ gbcg9725: 9060xt 跑llm沒壓力,minimax所需時間大概是n卡6倍 08/26 10:55
→ gbcg9725: 所以我也看不懂在3060在貴什麼 08/26 10:56
→ davidex: 還有不到15K的9060XT哩 08/26 10:57
→ gbcg9725: 實測llama-cpp用rocm版跟4070速度差不多 08/26 10:57
→ gbcg9725: 我是指9060xt 16g 08/26 10:58
→ tsunamimk2: 光12G vram就無敵了 08/26 11:14
→ tsunamimk2: 問題不只是權重本身 context長度差非常多 08/26 11:15
→ kimisawa: 3060貴因為被拿來AI多卡啊 08/26 11:15
→ tsunamimk2: 很多benchmark只看模型是不準的 08/26 11:15
→ tsunamimk2: 3060貴什麼喔 cuda啊 08/26 11:16
→ kimisawa: 你手上有一張24G N卡,插一張3060變成36G不香嗎? 08/26 11:16
→ tsunamimk2: 還有可以裝很多張 08/26 11:16
→ kimisawa: 或是一張16G的 再插一張3060變成30G 08/26 11:17
→ kimisawa: 50XX+3060雖然說頻寬損失一些但便宜就可以增加大VRAM 08/26 11:18
推 tsunamimk2: 或者mac mini m6 ultra 30萬買下去 08/26 11:21
→ tsunamimk2: 64GB統一記憶體給你玩 缺點是metal在llamacpp狀態 08/26 11:23
→ tsunamimk2: 還沒去翻github還不知道 08/26 11:23
→ tsunamimk2: 但確定頻寬比m5提高一個等級 至少跑模型不是問題了 08/26 11:23
→ tsunamimk2: 等量化更成熟 3bits之類的確定能用 08/26 11:24
推 laeva75: 要玩統一記憶體是買128/256/512G的M5吧 08/26 11:24
→ tsunamimk2: 也可以啊 但要買到mac studio 08/26 11:25
→ tsunamimk2: 然後有沒有比DGX spark划算 目前不知道 08/26 11:25
→ tsunamimk2: 別忘了M5同樣也是arm based, 而且也還是metal 08/26 11:25
→ tsunamimk2: 我自己家裡是一台r9+64GB ram+後來買的5060ti 16GB 08/26 11:26
推 GenShoku: 多卡是重點,單張12G是摸到剛好能玩的邊,多卡能玩的花 08/26 11:26
→ GenShoku: 樣多又(相對)便宜,8G單張玩AI就純產廢,多卡vram太少也 08/26 11:26
→ GenShoku: 不值 08/26 11:26
→ tsunamimk2: 在ram白菜價的時候裝的, x11全部關掉 的ubuntu server 08/26 11:26
→ tsunamimk2: 這台目前跑的是4B量化 然後只能做本機的script協助 08/26 11:27
→ tsunamimk2: 以及實驗性的pg-vector的embedding處理 RAG管理 08/26 11:27
→ tsunamimk2: 拿來產生Dockerfile/systemd設定/bash挺夠了 08/26 11:28
→ GenShoku: mac studio光記憶體帶寬decode速度就屌虐dgx spark了, 08/26 11:28
→ GenShoku: 除非你真的很需要那個cuda生態玩訓練玩微調,不然純粹家 08/26 11:28
→ GenShoku: 用推理機mac studio肯定比dgx spark好多了 08/26 11:28
→ tsunamimk2: 我不敢說是因為我還沒去讀llamacpp的metal支援 08/26 11:29
→ tsunamimk2: 理論上是 但實務上還是要實驗 08/26 11:29
→ tsunamimk2: 但如果是要自己訓練甚至跑LoRA 那還是要不租gpu 08/26 11:30
→ tsunamimk2: 要不買spark吧 雖然我建議去租gpu 08/26 11:30
→ tsunamimk2: dgx spark本質上也是給實驗室實驗用的啦 08/26 11:31
→ tsunamimk2: 我看過用上百台mac mini做的cluster 08/26 11:31
→ tsunamimk2: 但中間的軟體應該是那家公司自己開發的 08/26 11:32
→ tsunamimk2: 這種東西看純硬體規格風險太大啦... 08/26 11:34
推 kaori9993: mac studio那價格太美麗,不太實際 08/26 12:18