※ 引述《Kai877 (金炆炡的狗)》之銘言：
: Apple明明是全球最知名的大廠之一
: 當初也是靠著不斷研發創新爬到世界頂尖企業
: 為什麼在AI研發這方面遠遠落後其他企業？
: 一個Siri AI拖到今年才要發布？
簡單講就是
成也生態，敗也生態，
成也品牌，敗也品牌。
先是因為生態系的關係，
為了訓練AI訓練自己的模型，
這就有多少環境建置的工作要補上。
再來AI現在主打的是企業級市場，
Apple則是消費級市場，
企業級市場就是講CP值講性價比，
蘋果品牌好棒棒的形象派不上用場。
1.論硬體差距
Nvidia H200 這些記憶體傳輸是幾個TB/秒在算，
Apple 再怎樣就是拉到500GB/秒左右，
而且Nvidia還有NVLink，可以多個GPU串聯跑更大的模型，
雖然Mac Studio本身可以拉到512GB的記憶體，
對比同樣的任務Apple要跑一小時，Nvidia H200大概十分鐘內跑完。
2.軟體LLM開源
這是我覺得最痛的地方，LLM同一模型粗分為16、8、4bits三個量級，
數字越小就需要的記憶體越少也跑越快，但是精度越差越會唬爛，
各位可能聽到有人說Ollama就能跑什麼模型了，
那很多就只是用最輕的Q4版本，
說穿了就只是玩具等級，根本不被企業級接受。
還有年初Clawbot一開始炒作也是夠"蝦"的，
莫名其妙一堆人瘋狂推薦買Mac mini來跑龍蝦，
實際上去跑一定慢到傻眼或是只能用小模型很蠢，
或是根本沒幾個人裝起來，只是為了跟風講養龍蝦。
mlx社群也只是盡量把其他開源的模型再微調或量化，
Apple在LLM開發就沒什麼搞頭，畢竟要訓練好模型又回到你要跟NV買更多GPU。
此外從Huggingface下載LLM你要能動還需要推理引擎vllm、TGI等等，
這些推理引擎還要跟MacOS銜接，這部份現在也算是給別人幫忙，
蘋果自己顯然是寧願把900億鎂拿去買回庫藏股撐盤，也不願大力研發自家模型，
所以只好把故事推到Edge AI，
但現階段LLM這些模型就還是很龐大，LLM架構現在就是算一堆矩陣乘法很耗電，
你要Edge AI有起色就要硬體先跟上，
總不能為了軟體體驗很好，一股腦就把功能開發跟上，AI軟體全上手機，
結果害續航力降到原本50%以下，蘋果還是有在思考整體的體驗，
所以現階段唯一解就是AI不在手機上，而是去連雲端AI，
這樣就能避免更嚴重的功耗，又能達成一點點鋼鐵人Jarvis的味道。
所以Apple就此GG了嗎?
放心吧~ Apple 賺的依舊是信仰的功德金，
跟繳給seafood每個月2500是差不多的意思，
只是Apple是每年四萬~十萬不等，如果要買摺疊機的話啦~
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.177.2.98 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1781019587.A.D42.html