Re: [請益] 算力需求到底是缺還是快飽和了？

[ImHoluCan (爺)]

有點嚴重的懷疑對岸有人在用AI去搞動漫

這幾個月剛重開播的凡人修仙就有點明顯

不知是我錯覺還是什麼

不知有沒有大師可以解答嗎

是不是真的有人開始往這地方發展



※ 引述《waitrop (嘴砲無雙)》之銘言：
: ※ 引述《maplefff (降息の恐怖嘎鱷)》之銘言：
: : 這要從兩個層面去分析當前現況: 模型層 和 雲基礎設施層
: : 如果只評估最能盈利的toB coding方向, 目前主要LLM提供商能力大致如下
: : Anthropic > OpenAI >>>> Gemini >= 中國模型 > grok, meta, others
: : 模型層營收開始出現顯著分化, 開始往兩超集中, 並且愈來愈集中的態勢
: : 模型商品化, 白菜化的敘事落空, 市場看法逐漸轉向並不是花大錢, 疊加算力
: : 就能得到前沿模型能力. 前沿LLM供應商保有足夠多的隱秘知識, 並逐漸壟斷市場
: : 這表示Anthropic, Open AI 營收增速高100%, 毛利率60%~高70%可能是可持續的
: : 能見度至少有半年, 並可能延長到1~2年以上
: : 模型層的高毛利使得模型供應商有能力支付高溢價購買算力
: : 所以高毛利會逐漸傳導到雲基礎設施供應商, 大幅改善4大CSP業者的現金流
: : 並繼續推動AI基礎設施的擴充
: : 這裡有幾個消息或資訊可以應證該推論
: : 1. AWS 7/1開始對EC2 ML服務直接漲價20%:
: : 這是既26年1月調漲15%, 最新一輪的漲價; 並且漲幅比之前更大, 年內累積漲幅達38%
: : H100(P5)報價:
: : 1月前: ~$3.8/hr  1~6月:~$4.3/hr  7月: ~$5.2/hr
: : H200(P5e)報價：
: : 1月前: ~$4.3/hr  1~6月:~$5.0/hr  7月: ~$6.0/hr
: : B200(P6-B200)報價：
: : 1月前: NA        1~6月:~$10.3/hr 7月: ~$12.4/hr
: : 2. Vast.ai上的價格:                                                         : : Vast.ai是目前市場上最大的P2P GPU租賃平台, 其代表的意義是GPU租賃地板價
: : 因為市場肯定是從: 四大CSP -> NeoCloud -> Vast.ai等另類平台
: : 這樣的順序去依序尋找算力，上一層價格太貴才會往下找, 所以價格對需求外溢
: : 的敏感度會非常高.
: : Vast.ai另外一個好處是價格是即時撮合出來並留有歷史季度
: : https://vast.ai/pricing/gpu/B200
: : 可以看到價格從1月開始逐步緩漲, 到5月矽谷開始Tokenmaxing狂潮,
: : 價格中價暴漲將近100%, 然後逐漸回歸理性, 但年內依然累積60%左右漲幅
: : 最後結論一下：總得來講LLM市場競爭正在逐漸去泡沫, 淘汰實力較弱的參與者
: : 並轉向合理的寡頭壟斷, 這使得LLM行業能保持合理毛利率, 並逐漸擴散到整體相關行
: : 在模型層失利的廠商, 透過轉化現有GPU去基礎設施層改善現金流和資產價值
: : 是理性的雙贏選擇, 推論其為泡沫破裂的早期徵兆是嚴重滑坡
: : CSP, NV股價有被低估, 記憶體股價低得誇張, 可以攤平購買
: 先說結論,
: 算力還是很缺,
: 記憶體, 尤其是DRAM, 還是很缺
: 詳細原因,
: 我在幾個星期前有解釋過
: https://www.ptt.cc/bbs/Stock/M.1782458086.A.529.html
: 撇開不能說,
: 以及家醜不能外揚的部分,
: 可惜這部分才是最精彩的地方,                                                   : 我說的都是我在業界現在正在看到的情況
: 從去年下半年開始,
: 尤其Gemini 追上 OpenAI Claude 之後,
: LLM 訓練部分已經不是瓶頸,
: 因為各家大模型現在訓練出來都差不多聰明,
: 沒有到差距很大,
: 如果你有感覺差距很大,
: 那是信仰的問題,
: 當然Claude 在 coding 這塊是真的強也真的好用,
: 這些就不多說, 會引戰
: 反正去年下半年之後,
: 主戰場就轉移到推理inference 上面,
: 也就是AI API token 等應用層面上,
: 而inference 推理市場是訓練市場的百倍千倍以上,
: 所以怎麼可能會算力過剩,
: 推理應用市場所需要的算力遠遠不足,
: 你看Gemini 現在的表現就知道推理的算力還是不足
: Meta 跟 xai 算力出租代表的是他們退出AI訓練競爭,
: 也就是退出AI 模型競爭,
: 轉型成為資料中心的包租公,
: 你就想成像是類似ORCL Corewave等公司的形式,
: 不開發模型, 單純出租算力                                                      : 這不表示算力過剩,
: 只是表示他們退出AI模型競爭,
: 現在算力都用在推理inference,
: 用在每一筆AI API token,
: 也就是真正能生出錢的地方,
: 只要token 還有需求,
: 算力就會有需求
: 除了谷歌之外,
: 模型商跟CSP廠是各自有自己的算盤,
: 以CSP廠的角度, 包含Meta xai+cursor等,
: 他們的商業想法是,
: 如果以後每一個模型都差不多一樣聰明,
: 那麼真正有議價權跟控制權的是掌握算力的一方,
: 也就是CSP廠,
: cursor 套皮可以隨意轉換任何模型,
: CSP廠跟meta 等算力出租公司,
: 可以壓低模型價格可以用自己的算力去議價
: 在模型商的想法是相反,
: 如果模型商能出一個遙遙領先最聰明的模型, 甚至是AGI,
: 那麼有議價權跟控制權的是這個唯一的AGI 模型,
: 他們可以隨意轉換CSP廠壓低算力價格,
: 最好的例子就是OpenAI 怎麼去凹 微軟跟ORCL的算力                                : 所以這很難說 誰會勝出,
: 你覺得以後會有唯一的AGI真神模型,
: 還是以後所有的模型都差不多一樣聰明的爛大街模型,
: 我沒有答案就是了
: Anyway, 扯遠了,
: 反正訓練模型只剩三家在玩,
: 但是inference 推理市場是百家爭鳴,
: 賣token 的是算力遠遠不足,
: 而其中,
: DRAM 對inference 的需求會遠高於HBM,
: ASIC 對inference 的需求會遠高於GPU,
: 這道理就是量大管飽,
: API token 要的就是量大管飽,
: 速度差一點沒關係
: 或者我們用生活上的例子來說明,
: 台北到高雄,
: 你可以選擇坐飛機, 坐高鐵, 坐台鐵,
: 開法拉利, 開Toyota,
: 甚至可以選擇坐統聯, 或是騎腳踏車一日雙城,
: 這跟你的乘客量還有票價有很大的相關性,
: inference 推理的API token 要的就是量大管飽,
: 每個token 的單價要壓到最低,                                                   : 吞吐量要最大,
: 所以訓練是開法拉利, 推理是坐公車,
: 訓練是坐飛機, 推理是搭公車


--
Sent from nPTT on my

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 112.105.32.66 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1783249069.A.DDB.html
推 sunnyhung   : 連AV都在搞了
推 diefish5566 : 這個一定有啊
噓 HENRYVSA    :  抖音或Reels已經一堆AI動漫影片了，不是最近，而
→ HENRYVSA    : 且對岸獎勵措施鼓勵創作者使用
推 Smallpiggy  : 坦白說 有些意外的好看@@
推 tv5566      : 灌籃高手Kobe蠻好看的
→ ImHoluCan   : 我看過有人把火影 與 巨人 合在ㄧ起
→ mystage     : 現在網路上大多數的說書影片都是AI從頭到位包辦啊
推 sheep2009   : 沒吧 凡人明顯手搓的 其他就不知道了
→ ImHoluCan   : 鬼意的ㄧ直看
→ sheep2009   : 倒是b站很多二創凡人是ai沒錯
推 dosiris     : 我都看了快兩個月了 看不完
→ mystage     : 很快那些露餡的地方就會被修正了。以後你判斷AI的
→ mystage     : 基準是，沒有缺點的東西是AI做的，有缺點的東西是
→ mystage     : 人做的
推 akito555    : 凡人是多到誇張的地步
→ akito555    : 光這兩個星期出來的南宮師姐就一堆
推 tsubasawolfy: 6/30那天不是有用seedance2.0丟出一個韓妞震驚世界
→ justjihyun  : c-chat有新聞 為了算力還半夜上班
→ tsubasawolfy: 動畫影片模型目前看就是對面領先
噓 strlen      : 這些沒用的啦 賺不了幾根毛
推 q888atPt    : 凡人流量很高吧 應該是賺爆了
推 budda       : 早就有了吧，你反應太慢，相信自己眼睛
→ bndan       : 用AI"協"做動畫算是顯學了吧 但問題一樣 如果TOKEN
→ jyan97      : 不是短影音早就一堆ai了嗎，動漫有也不奇怪
→ bndan       : 價格太高 會變成多請幾個便宜助手下去弄 = =
→ bndan       : 基本上"全AI"劇或動畫 目前還沒看到哪家願意認真砸
→ bndan       : 本做..個人看法 大概TOKEN價夠賤才會爆量推動這塊吧
推 jiansu      : ai在影片製作 已經把傳統顛覆了 很多(可能過半）演
→ jiansu      : 員失業了 這是ai最成功的地方  而且字節這塊業務賺
→ jiansu      : 錢 投入小 連算力都有用國產的 本地推理可能更省
推 akito555    : 上個禮拜已經討論過了 短劇已經被AI卷死了
推 lu1626      : 你也太lag
推 s860134     : chatgpt 放掉這塊 目前只有中國在搞這種應用
→ shinjikawuru: 剛看一個AI劇頻道 還是長劇幾小時的 一天出一百多部
→ s860134     : 看起來動畫產業太不賺 燒token 下去搞不好比人工貴
→ s860134     : 中國以token便宜的模型搞 應該是剛好符合發展策略
→ shinjikawuru: 品質是越來越能打 長短劇大概再幾年都不必用真人了
→ s860134     : 算圖是真的燒token 不然chatgpt 不會收掉這個業務
推 airawesu    : Deepseek跟GLM的價格才能支撐這種玩法
→ b9513227    : 你也太腿了 早就有了 但是現在品質還很差
→ b9513227    : 那些二創的打發時間還行 認真看會很躁
推 poeoe       : AI影音製作就是未來的重要應用 成本低廉又快速
→ bndan       : 取代貴但沒啥名氣的演員歌手是必然的 跟工程師斷層
→ bndan       : 一樣的情況 價值累積不夠的和新的 都死去...
→ gw00086     : 一堆小說劇本都用AI搞影片了阿
→ gw00086     : 穿越 流放 製鹽香皂搓火藥
推 tsubasawolfy: https://x.com/i/status/2071977017474789557
推 kuanhunter  : 麥克都出現替身使者了
→ tsubasawolfy: 上面提到6/30那個，想抓錯的可以逐幀看
推 permanent27 : 凡人修仙傳其實還不錯
推 hcwang1126  : 凡人是新季開播前一堆Ai 自製版
推 dogalan     : 不要說動漫 連陸劇都有些畫面我感覺是AI做的了
推 edward0811  : 久了就無聊，人類以後創意就死刑
→ dogalan     : 尤其是新的一些預告 一堆AI畫面 只能祈禱正片不是AI
→ YesHi       : 凡人修仙 原本小說就很好看了啊
→ e2699096    : ai當基底 用剪接跟特效摸魚一下根本看不出來
推 wulongde    : 我是看鳴潮的AI二創，我只能說感謝黃爸爸
推 ppit        : AI把很多事情的門檻降低了,有些人有創意沒資源
→ ppit        : 以前要做動畫沒資源沒辦法做,現在可以利用AI做
推 vvanch      : YT刷過獵人寫實版 獵人試驗篇 超像的
推 imvh        : 當然有，網路上連AI如何製作動漫教學影片都找的到
推 kevinlook   : 騰訊獨佔的有些有AI我很確定，他們也自己承認
→ fallinlove15: 早就一堆了
推 arthur52    : AI影片破壞智慧財產權制度