Re: [請益] 算力需求到底是缺還是快飽和了？

[fenzang (fenzang)]

看了一下W大跟L大的回文 我也來分享一下關於這鬼故事的想法
我引用了L大的文章，然後會砍掉部分 因為太長了 如果LDPC大認為不妥我再修正
小弟我從出道以來就是做純inference的，從來沒幹過training，所以單就我自己的經驗
分享一下我認為現在的瓶頸 還有一些故事(?) 給大家自己決定怎麼解釋

※ 引述《LDPC (Channel Coding)》之銘言：
: inference 並不代表 NVIDIA
: 就會失去優勢，
: 我反而認為它目前仍然是
: 最大的受益者，
: 至少短中期如此。
: 原因有幾個：
: 第一，
: CUDA 生態系的護城河，
: 比很多人想像的大得多。
: 現在幾乎所有主流
: inference optimization，
: 都是先支援 CUDA。
: 例如：
: 尤其 vLLM，
: 是目前 LLM inference
: 最主流的 serving framework。
: SGLang 近一年成長也非常快，
: GitHub 也已經累積
: 萬級以上 Stars。
: 兩者最成熟、
: 效能最好的 backend，
: 都仍然是 NVIDIA GPU。
其實你講的反而是NV容易被取代的點
SGLang/vLLM並不是綁定NV的 而且其實真正有資源的team都不是用純版的
像是vLLM原本在MSL出現前也是Meta主力，但TBD最一開始也不用
(TBD一開始還有很多有趣的事情 像是不用torch之類的lol)
SGL現在Lianmin去了TBD 我聽到的八卦是Lianmin當初拿了offer之後說還是想
把SGLang給搞好，那Jeff就說可以先去然後討論他去TBD之後要做什麼
後來兔哥看到了SGLang的一些作法認為很值得借鑒 所以就開始投入SGL了

但也是有用著SGLang但是把router給扔了去用NV的Dynamo或是各種花式frankenstein
我不認為現在NV的優勢是在Serving framework上。
OpenAI的serving也是有自己的serving engine，其實每家code我聽到的都是屎山
因為大家現在就是要榨出inference的最後一滴汁，能不能同時用NV/AMD/INTC/TPU根本
不重要，所有的code都是特化的，CUDA的生態系其實在oAI/Ant/TBD有資源的公司前沒想
像中那麼強，現在我知道有team甚至是直接PTX開始寫的lol

: 第二，
: 大規模 Data Center
: 的系統能力，
: 目前 NVIDIA
: 仍然領先。
: 單張 GPU
: 已經不是重點。
: 真正困難的是：
: 幾百到幾千張 GPU 的互連
這是真的，而且這還不只是NV硬體本身，還有CSP也是很大的一個價值
小八卦是某家frontier lab跟某兩個neocloud租了cluster，結果發現一模一樣的code
在某家neocloud作RL的時候會crash 另一邊竟然不會，後來發現會crash的那邊是
numerical不determinism所以在climbing的時候不夠穩定就train不上去了。
一樣的硬體 一樣的driver 一樣的code，但卻有numerical difference 很有趣的:)


至於說Meta算力過剩這件事情，我倒覺得不太可能，問題應該是說，Meta放出這消息的
目的是什麼？
各位不知道還記不記得，阿祖在前幾次的財報會議有人問過，不擔心over invest嗎？
阿祖的回答很直接，如果說後來發現LLM搞不起來 他大可把算力拿給其他team，來讓本
業的廣告投放更精準。這件事情所言不假，我們當初Ads/MRS根本拿不到NV的卡，更恐怖
的事是卡還缺到有team被從原本有卡踢到要他們只能用CPU...

所以你說Meta算力過剩？微軟AMZN或是甲骨文之類的說還有可能。Meta絕對是巨頭裡面最
直接可以把算力轉換成鈔票的公司，NV微軟AMZN還要看有沒有客戶要用，對Meta來說算力
就是印鈔機，端看他要怎麼用而已
我還記得在Meta這新聞出來的時候，我在跟之前team上另一個老中聊天，他只說了：
這真他媽的離譜 我KFS等了一個禮拜才排到隊，你跟我說有多的算力？

除非說阿祖覺得這些卡跟馬斯克一樣租出去比較賺，不然Meta這種Ads起家的公司，說算
力過剩這種話，絕對是不安好心的lol

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.240.139.200 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1783082082.A.9B4.html
推 cp17        : 有趣 越來越多這種優文很不錯
推 Jaspercool  : 好文 推推
推 sdbb        : 謝謝
推 thetide0512 : 可以了解下 前兩天NV公布的算力分成模式
→ bnn         : 阿祖:但是Ant給的真的太多了(X
推 CaptPlanet  : 高層真的是腦子有洞 頭突然撞到就會 轉向
推 ksjr        : 這是一個關於元蒜粒的故事
推 pent        : 財報狗也解析，差不多一樣地看法。本來meta就有考量
→ pent        : 出租算力也是一個業務
推 budda       : 看那個臉書如今只變成廣告溫床，就知道meta只想賺
→ budda       : 錢，只要能賺，什麼話都敢說
推 coware      : 推 不安好心 是說他什麼時候好心過了
→ KY1998      : 出租算力很賺吧，一堆礦商都轉型neocloud
→ KY1998      : 只是前期資本開支多才會讓人有無底洞的感覺
推 CorkiN      : 推第一線人員優文
推 strlen      : 不知道你是否注意到 阿祖那邊本身根本從沒說過算力
→ strlen      : 過剩相關的事 就連出租的事也是年初稍微提過
→ strlen      : 所有的故事都是來自媒體的知情人士 懂得就懂
→ strlen      : 然後媒體又莫明奇妙的可以拿到阿祖內部談話內容
→ strlen      : 一切都是在這幾天 而不是上週 上上週 或上個月
→ strlen      : 就這麼巧本週大跌 又這麼巧一堆新聞 就是這麼巧