推 maplefff: 拜託一下現在LLM都是幾萬張H100在搞的 07/03 12:38
→ maplefff: 沒有人會搞什麼單機跑AI這種項目了 07/03 12:38
→ maplefff: 邊緣系統真的搞得起來得只有推理 07/03 12:38
噓 parislove3: 你確定要PO這廝的片？在B站被罵翻 內容概念錯誤百出 07/03 12:41
真假？還想說他講的東西都不錯XD
→ LuckSK: 越會畫虎爛的越多受眾 07/03 13:29
推 yytseng: 低成本記憶體方案吧，畢竟這趨勢下去M3 ultra M4 ultra才 07/03 14:19
→ yytseng: 是未來值得期待的。NV一張卡抵一台了 07/03 14:19
→ yytseng: 至於有沒有用我覺得對大模型不夠但對一般小公司很好用了 07/03 14:20
→ yytseng: 正常人不會把自己的know how放到雲端給別人的機器學習的 07/03 14:21
推 TuCH: LLM能在本地端自己做推理也是很有價值 07/03 15:08
→ TuCH: 很多隱私的資料或著沒有外網的環境 07/03 15:08
推 iKelly: M系列的晶片問題在於記憶體最大上限只到192GB，超過的話 07/03 15:58
→ iKelly: 蘋果沒有提供任何解決方案，就連最新推出的Mac pro都無解 07/03 15:59
未來沒機會再提升嗎？
→ woodman: 未看先猜是不是拿影像編輯來吹噓？怎麼不探討M系列最弱「 07/03 16:31
→ woodman: 穩定性」及「周邊設備相容性」？ 07/03 16:31
穩定性我不知道，週邊設備是只要跟什麼相容？
推 ddoll288: 一樓是在搞笑嗎?H100一張3.6萬鎂,哪來幾萬張? 07/03 17:12
→ ddoll288: OpenAI人家估算成本也不過用了3600張A100 07/03 17:13
※ 編輯: huabandd (101.137.247.250 臺灣), 07/03/2023 20:08:37
推 cevs: 蘋果近幾年應該會推自己的顯示晶片 3d方面實在不行 07/03 20:13
推 iKelly: 目前M2 Ultra堆到頂就192GB，除非蘋果還有技術可以串連多 07/03 20:40
→ iKelly: 顆M2 Ultra，或者開放支援一般的DDR記憶體，不然頂點就在 07/03 20:41
→ iKelly: 那邊卡著 07/03 20:41
推 xoy: 這影片就一直在誇一張192GB RAM的顯卡，不能說這沒有用處， 07/03 21:02
→ xoy: 但是一台只有192GB RAM的工作站問題更大 07/03 21:02
→ KurakiMaki: 蘋果先解決ssd跟ram的價格吧，都快10年過去了 07/03 21:05
→ KurakiMaki: ram跟ssd價格還在賣天價...配再快cpu也是白搭 07/03 21:05
推 boris20050: 他明明就在講個人電腦，有需要扯到工作站嗎？ 07/03 21:33
→ boris20050: 就是個能在自己的電腦載入超大模型，他講的優點沒啥 07/03 21:35
→ boris20050: 毛病啊。顯卡需要幾張才能夠載入這麼大的模型？ 07/03 21:35
推 xoy: 高階個人電腦RAM早就不只是192GB，更不用說工作站以TB為單位 07/03 22:16
→ xoy: 很久了，蘋果的x86 Mac Pro幾年前就可以裝1.5TB RAM，現在Ma 07/03 22:16
→ xoy: c Pro或Studio就整個被M2 Ultra卡住，這影片就完全避開CPU的 07/03 22:16
→ xoy: 需求，只拿純GPU的用途，不能說沒用，只是用途有限 07/03 22:16
推 jimmycatmeow: 還有是市佔太低了，第三方支援真的跟windows還有一 07/03 22:27
→ jimmycatmeow: 段差距 07/03 22:27
推 xoy: 另一點是ARM Mac完全沒有GPU的擴充能力，就算是最新的Mac Pr 07/03 22:44
→ xoy: o也一樣。但是現在顯卡很明顯繪圖遊戲是一個用途，AI是一個 07/03 22:44
→ xoy: 用途，高階用戶起碼有得選 07/03 22:44
推 johnpisces2: 大家太嚴格了吧 這台才多少錢 部分應用侵蝕h100也是 07/03 23:08
→ johnpisces2: 合理的吧 真心 07/03 23:08
推 iKelly: 搭載M2 Ultra的Mac studio我覺得沒什麼問題，但這次用上 07/03 23:13
→ iKelly: 同晶片的Mac pro號稱有擴充能力，卻連記憶體和GPU都沒有 07/03 23:13
→ iKelly: 更優雅的解決方案，擺明就是急就章推出的產品，身為資深 07/03 23:13
→ iKelly: 果粉的我也看不下去 07/03 23:13
推 boris20050: 原來一般人就用得到工作站了 07/03 23:55
推 CGary: 他剛好拿了個gpt這種 做推理已經不需要太高計算力又很需要 07/03 23:59
→ CGary: 大顯存的 別說啥, 叫他跑個controlnet 就知道了... 07/03 23:59
→ CGary: m2比拿大顯存老顯卡(P40這類的)拼裝簡單點 但是如果要長期 07/04 00:01
→ CGary: 投入在深度學習的 暫時NV的對手連他的前一圈車尾燈都沒看到 07/04 00:01
推 xoy: M2 Ultra把RAM加滿的價格不管是Studio或Pro也不是一般人會花 07/04 06:29
→ xoy: 的錢，影片誇它的C/P值是建立在好幾個前提下，只靠GPU、GPU 07/04 06:29
→ xoy: 一定要一百多GB RAM但是需求又不能超過兩百、運算不允許分散 07/04 06:29
→ xoy: 給多張GPU等等，一定要先去設想一個單張或多張一般顯卡做不 07/04 06:29
→ xoy: 到的事，然後就C/P值好高 07/04 06:29
推 TuCH: 玩AI大模型的cp值很高沒有錯啊 不然要買一台幾百萬的DGX? 07/04 08:09
→ exojin: Intel時期的蘋果才是強大，本身強兼容性也強，現在的M系列 07/04 08:20
→ exojin: 穩定性跟兼容性差到不行，蘋果可以吹噓M處理器的強大，但 07/04 08:20
→ exojin: 使用者不這麼認為喔。 07/04 08:20
推 ho83leo: 身為碼農，自從WWDC 推出GPTK 我就更喜歡蘋果了… 07/04 08:23
推 xoy: DGX的規格哪裡是Mac Pro跟Studio可以比的，反過來說現在的Ma 07/04 09:00
→ xoy: c也組不出高階的AI運算平台 07/04 09:00
推 yytseng: 27萬可以玩的本地AI，還能不滿啥？你有公費無限預算拿去 07/04 09:07
→ yytseng: 買dgx gh200啊，不過先排隊等待吧，前面一堆一線公司都 07/04 09:07
→ yytseng: 還沒拿到呢 07/04 09:07
推 xoy: 對啊，這些一線公司為什麼這麼笨不買M2 Ultra就好？要做本地 07/04 09:15
→ xoy: AI又不是只有ARM Mac跟貴到天邊的DGX可以選，一直扯DGX有什 07/04 09:15
→ xoy: 麼意義？一般人學習AI也是一開始就排隊買DGX嗎？PC+顯卡都不 07/04 09:15
→ xoy: 存在了？ 07/04 09:15
推 yytseng: 27萬你組的到192GB VRAM? 07/04 09:17
推 xoy: 前面我就說這C/P值是限定條件，如果我不需要一百以上或需要 07/04 09:25
→ xoy: 超過兩百的VRAM這就沒什麼吸引力，更何況這都還沒比蘋果跟NV 07/04 09:25
→ xoy: IDIA的GPU算AI的實力，純粹只是當一張VRAM在一到兩百GB之間 07/04 09:25
→ xoy: 的特殊顯卡，還不讓人把多顯卡這現在PC簡單到不行的擴充拿來 07/04 09:25
→ xoy: 比 07/04 09:25
推 yytseng: 八片以上4090連起來就不是特殊情境？難道你家還在挖礦？ 07/04 09:31
→ yytseng: 192GB以下蘋果的cp值就無敵啊。至於速度yt有一堆評測了 07/04 09:31
→ yytseng: ，比3090快，4090還沒實際比較，把cuda改成mps就能跑， 07/04 09:31
→ yytseng: 似乎軟體也沒什麼問題。 07/04 09:31
→ yytseng: 就算你只要24GB以下的記憶體，算一下價格還是蘋果勝好嗎 07/04 09:33
→ yytseng: ，一片4090六萬還要特殊電源跟冷卻 07/04 09:33
推 xoy: NV不是只有遊戲顯卡，真要堆大容量VRAM用繪圖卡數量可以變少 07/04 10:12
→ xoy: 但是的確很貴。M1 Ultra早就有128GB RAM可給GPU用了但是也沒 07/04 10:12
→ xoy: 看到影音繪圖AI等產業高階應用拋棄NV跑來蘋果，就算跟遊戲顯 07/04 10:12
→ xoy: 卡比遊戲比繪圖蘋果目前也沒贏面。這影片的比較基礎是把VRAM 07/04 10:12
→ xoy: 容量占比極大化跟AI顯卡比價格，前面也有網友提到了比的也不 07/04 10:12
→ xoy: 是很耗GPU運算能力的，也無視NV在AI領域的軟體支援度，找個 07/04 10:12
→ xoy: 有移植ARM Mac的就好 07/04 10:12
推 xoy: 當初ARM Mac出來我想說買個64GB RAM的機器也沒貴到哪裡，GPU 07/04 10:25
→ xoy: 撥個四五十GB不就輕鬆打爆NVIDIA高階繪圖卡了？問題就是沒有 07/04 10:25
推 deep236: Mac Pro沒辦法額外擴充記憶體真的很無言 07/04 10:49
推 yytseng: M1才是一代Apple ARM 而已，你要開源軟體轉多快過來啊? 07/04 12:33
→ yytseng: 一年前ChatGPT有幾個人知道啊，這種就剛好要130GB記憶體 07/04 12:34
推 johnpisces2: pytorch可以運行的話，其實跨出一大步了 07/04 12:34
→ yytseng: 對啊，open source 社群有在動了就是有用，我也裝來玩玩 07/04 12:35
→ yytseng: 如果遇到記憶體瓶頸，我應該會買Mac Studio而不是搞4090 07/04 12:36
→ yytseng: 之前問過報價組4090單顯卡就要15萬左右，又吵又熱 07/04 12:37
推 yytseng: NV A6000湊到192GB 某家組好報價107萬，這我玩票的買不起 07/04 12:41
→ yytseng: 一直拿工作站來比，不知道是在講啥，開AI服務公司的嗎... 07/04 12:44
→ iincho: 這個就是土砲的野路子 07/04 13:39
→ iincho: 就剛好蘋果統一記憶體做這個合適 07/04 13:40
→ iincho: 算是窮人方案吧，當然和正規不能比 07/04 13:41
→ iincho: 但是噴的人好歹先看看價錢啊 07/04 13:42
推 xoy: 就AI不只是GPT，而GPT看規模學生用一般顯卡就可以學了，也聽 07/04 15:21
→ xoy: 說有model大到沒有單張顯卡塞得下，也有人做CPU+GPU+SSD而不 07/04 15:21
→ xoy: 是只用GPU。玩票的自然不會花上百萬買來只是玩玩，一般人也 07/04 15:21
→ xoy: 不容易掏出十幾二十萬只為了跑GPT 07/04 15:21
推 xoy: 當初M1有Pro跟Max開發社群玩AI的早就摩拳擦掌在玩了 07/04 16:44
→ xoy: 最近另一個熱門話題AI自動繪圖像Stable Diffusion也有Apple 07/04 16:50
→ xoy: Silicon版，效能還是比不上x86+NVIDIA。不過蘋果在開發者平 07/04 16:50
→ xoy: 台還是一直投入AI資源，沒有廠商會缺席，只是蘋果的架構未來 07/04 16:50
→ xoy: 能翻轉多少現況就再看看了，我是很想梭一台Studio來算圖啦， 07/04 16:50
→ xoy: 慢點是還好起碼比較不吵 07/04 16:50
推 cgjosephlee: 也不是全部ram都可以當vram用，64G機器mps只能用48G 07/04 17:03
推 CGary: 其實我還蠻喜歡m系列的架構的 未來越來越成熟 他一體化gpu 07/04 17:42
→ CGary: 的優點的確是存在的 但是此時此刻 他還不成熟 但他對於大模 07/04 17:43
→ CGary: 型也真的有一定的用途 只是你是看到他一開始說吊打NV而心動 07/04 17:44
→ CGary: 跳進去 那一定會後悔就是了 他至少在這代 還離真的成熟很遠 07/04 17:45
→ woodman: 這個價位標配1TSSD沒關係，蘋果本來就這種尿性，但都買 07/04 21:24
→ woodman: 到Mac pro我居然沒辦法自行升級SSD？又是該死的slicon把S 07/04 21:24
→ woodman: SD跟CPU黏在ㄧ起。 07/04 21:24
→ tyf99: Mac Pro 2023 應該能插 PCIe SSD， 07/04 21:52
→ tyf99: 不然它大可直說不能用，就像顯卡那樣 07/04 21:52
→ concord: 可以裝 SSD ，不過要注意插槽共用頻寬的問題 07/04 22:06
→ exojin: 2019 Mac pro有標配兩個M.2槽可以插SSD。2023年的Mac pro 07/04 22:36
→ exojin: 走pci插槽有可能也認不到SSD,畢竟顯卡、記憶體、SSD都跟CP 07/04 22:36
→ exojin: U綁在一起了。 07/04 22:36
→ NoneWolf: 這影片到處都有人在宣傳 感覺有鬼 07/05 10:55
噓 VictorZ: 中國幹片還是少看 07/05 12:37
推 JaveXP: 因為中國人買不了H100，當然只能吹M2 07/05 15:34
→ concord: 2023 Mac Pro 可以裝 PCIe SSD ， Highpoint 的產品已經 07/05 16:45
→ concord: 聲明可以用了，目前只是不清楚相容性是否會有特殊問題 07/05 16:46
→ Andosinjo: 口音我不行，噁心 07/07 01:03
推 Pelassy: 其實對於模型訓練來說，VRAM遠比算力重要，沒有batch s 07/08 17:00
→ Pelassy: ize沒有收斂。 07/08 17:00
推 jhjhs33504: 推文連結好重要~蘋果的品質應該是確保滿載也不降速吧? 07/12 14:05