› 看板 PC_Shopping 關於我們 聯絡資訊
作者QMO220 (Must Be Something)
看板PC_Shopping
標題[請益] 有人用Mac Studio跑AI大型模型了嗎
時間Thu Apr 24 14:53:36 2025
最近看到要塞大模型的話要很多顯卡記憶體 還要設定串聯有的沒的 最近Mac Studio有出了512記憶體的版本 好像甚麼模型都快塞得進去了 跑起來如何呢 感覺慢一點沒關係 但至少精度會比較好對吧 有高手可以指點一下嗎 在想說要買MAC跑還是用顯卡的方式來跑 感謝大家回復 看起來似乎是慢慢的 我再想想XD -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.176.121 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1745477620.A.0D9.html ※ 編輯: QMO220 (42.79.176.121 臺灣), 04/24/2025 14:54:38
推 iamdc1118: 跑模型沒問題 問題是沒錢 114.33.212.198 04/24 14:55
推 SRNOB: 看需求 有更便宜方 直接說結論 使用API方便 111.255.74.80 04/24 14:55
→ SRNOB: 養一頭牛喝一瓶鮮奶太浪費 111.255.74.80 04/24 14:56
推 hongx: 除非真的有什麼敏感資料，不然還是付費用AP 136.23.34.83 04/24 15:06
→ hongx: I比較實用。 136.23.34.83 04/24 15:06
→ hongx: 加上Mac Studio的記憶體頻寬還是太差，性 136.23.34.83 04/24 15:06
→ hongx: 能很難媲美目前主流平台的速度。 136.23.34.83 04/24 15:06
→ coox: 如果只選這兩種方案當然是買顯卡啊 163.26.206.202 04/24 15:09
→ coox: 最終都是看哪個社群比較強大 163.26.206.202 04/24 15:10
→ abc0922001: 會跑超慢吧，但至少是能跑 203.66.179.162 04/24 15:14
→ Syu: 之前有MacbookProM4跟雷蛇旗艦對幹的片是贏 147.79.28.18 04/24 15:22
→ Syu: Studio的可以找或等看看有沒有review 147.79.28.18 04/24 15:22
→ vsbrm: 能接受的定義是？ 一秒鐘回一個字還是10分 42.77.101.3 04/24 15:26
→ vsbrm: 鐘回一個字？ 42.77.101.3 04/24 15:27
推 MK47: 直接買API就好了 在MAC上跑就是玩興趣的 誰 36.235.208.188 04/24 15:28
→ MK47: 真的工作用本機跑啊....... 36.235.208.188 04/24 15:29
→ MK47: 起碼個人或一般商家不需要考慮這種事情吧 36.235.208.188 04/24 15:29
→ SeulDesir: 比32gb顯卡好多了 219.79.95.88 04/24 15:34
推 abc65379: https://i.imgur.com/v7lA9Vt.jpeg 49.214.3.54 04/24 15:35
→ lordmi: 目前看到速度大概是18.87t/s 這個成本跑 36.229.66.96 04/24 15:43
→ lordmi: deepseek-r1:671b(4bit MLX)我只能說有錢 36.229.66.96 04/24 15:44
→ lordmi: 可以捐公益剩下的買api就好 36.229.66.96 04/24 15:44
推 kuninaka: 自己訓練模型才需要 211.20.234.13 04/24 15:46
→ kuninaka: 如果沒要訓練，API便宜很多 211.20.234.13 04/24 15:46
推 icuteasd: 只能說土豪 223.137.6.57 04/24 15:55
→ lordmi: 另外提醒，加到512實作上仍不可能放進一個 36.229.66.96 04/24 16:01
→ lordmi: 滿血的ds，還是老老實實買H200陣列吧 36.229.66.96 04/24 16:02
→ leolarrel: 這個版,只要問就是回答買新的 123.51.165.127 04/24 16:05
推 Shigeru777: https://reurl.cc/AMqOvj 101.12.112.178 04/24 16:07
→ Shigeru777: 30B左右的模型還OK 再上去速度不快RAM 101.12.112.178 04/24 16:09
→ Shigeru777: 也用很凶很花錢 101.12.112.178 04/24 16:09
推 aegis43210: 蘋果除了記憶體大之外，跑訓練非常慢 106.104.73.84 04/24 16:10
→ aegis43210: ，推論也輸同價格的老黃，不建議為了A 106.104.73.84 04/24 16:10
→ aegis43210: I買蘋果 106.104.73.84 04/24 16:10
推 aegis43210: 6000 ada現在已經非常好入手了 106.104.73.84 04/24 16:13
推 march55237: 買來配Ollama跑跑量化模型除了慢了點 42.70.220.23 04/24 16:20
→ march55237: 外沒啥問題 訓練就不用想了 42.70.220.23 04/24 16:20
→ march55237: 同樣70b量化 mac的建置成本就是比買 42.70.220.23 04/24 16:21
→ march55237: 卡便宜和省電 但就是推論慢 只適合實 42.70.220.23 04/24 16:21
→ march55237: 驗用 42.70.220.23 04/24 16:21
推 jkiu: 買 API 用就好，經濟實惠 36.224.191.123 04/24 16:27
推 raise2019: 買5090沒錢，換mac studio依樣也是沒錢 140.109.40.73 04/24 16:52
推 Shigeru777: 要跑參數稍微大的模型 單張5090還不夠 110.28.113.251 04/24 16:53
→ Shigeru777: 勒 110.28.113.251 04/24 16:53
推 lordmi: 不過我覺得m3u跑本地小模型其實也還行， 223.137.85.165 04/24 17:47
→ lordmi: 總比用洋垃圾搭湊出一台又吵又熱的機器好 223.137.85.165 04/24 17:47
→ lordmi: 。然後平常還可以跑跑生產力什麼的 223.137.85.165 04/24 17:47
推 jhjhs33504: 高效的UMA只解決了quantity問題但是 1.162.112.168 04/24 17:52
→ jhjhs33504: quality問題也只贏過獨立顯卡目前看來 1.162.112.168 04/24 17:53
→ jhjhs33504: TPU的潛力很大不然量子電腦量產還很久 1.162.112.168 04/24 17:55
推 guanting886: 在mac跑這個真的是跑興趣的 除非你 42.78.140.11 04/24 18:58
→ guanting886: 要搞cluster 42.78.140.11 04/24 18:58
推 ninggo: 乖乖花十萬買老黃的ai pc吧 27.52.132.61 04/24 21:37
→ cutejojocat: 有在跑的也不怎麼跑這板吧 不如上Red 36.229.193.189 04/25 00:08
→ cutejojocat: dit找看看 36.229.193.189 04/25 00:08
→ cutejojocat: 會思考這個問題的 十萬可能是美金才 36.229.193.189 04/25 00:09
→ cutejojocat: 跑得動 36.229.193.189 04/25 00:09
※ 編輯: QMO220 (111.71.100.120 臺灣), 04/25/2025 10:25:13