Re: [請益] 為何記憶體可以隨便調漲毛利率那麼高

[maplefff (降息の恐怖嘎鱷)]

※ 引述《Pixma258 (鄉民們!別爭了!!)》之銘言：
: 乳題，為何記憶體可以瘋漲價成這樣
: 川狗一句話都不敢出來叫
: 但晶圓不行，漲價要漲的小心奕奕
: 川狗不時出來叫
: 如要論記憶體和晶圓，晶圓製造技術門檻更高
: 而且對AI基建晶圓重要性也絕對不會輸記憶體
: 有沒有記憶體可以隨便喊漲那麼高的毛利率
: 晶圓不行
: 股價更是晶圓瘋漲成這樣，晶圓卻被倒貨
: 實在看不懂，想請教一下大家

「HBM容量每GPU大概每年增長40%以上

這條需求曲線的陡峭程度，是DRAM供給端 14% 的晶圓產能增長，
乘以 9% 的密度提升，很難追上的

在硬體領域，因為解碼階段KV快取的極高頻寬
和極高記憶體容量的要求，也導致了HBM獨特的地位。即便是HBM漲價三五倍，
把錢花在HBM上帶來的邊際token產出提升，仍然比花在其他地方要划算的多。

其他幾個記憶體路線，SRAM，HBF，CXL，PIM，
目前都無法在HBM的主力賽道KV快取/解碼階段上正面競爭，
起碼未來5年甚至更長時間，不太可能找到替代路線」

https://x.com/fi56622380/status/2070029693810847988?s=20


////////////

只要LLM還是當前自回歸生成(AR, Autoregressive Generation)工程範式,
每生成1個token都需要搬運KV快取計算上文每一個token和下文的注意力(Attention)

那記憶體問題就是供給側無解的問題, 因為LLM對記憶體頻寬擴展的需求會是
token生成長度二次方增長.
將token生成長度1M token -> 10M token, 記憶體頻寬需要擴展100倍

這遠遠高於現實世界工廠建設和製程優化的速度.


要解決該問題, 唯一的方法是從算法根本上去解決.
我很久之前就認為文本Diffusion模型很可能是下一代新工程範式
從流形假設的觀點看Diffusion的生成更穩定, 從工程實踐去看其生成更有效率

文本Diffusion模型可以一次性讀取KV快取就透過GPU迭代生成大量token
目前工程實踐可以做到一次生成256 token以上, 這表示KV快取搬運減少256倍
而未來顯然會更長. 這會把當前的記憶體受限問題重新拉回到GPU, 算力受限問題上
關鍵的轉折點會落在什麼時候上下文長度已經長到這個效益無法忽視

文本Diffusion模型, 隨著前陣子Google釋出開源DiffusionGemma, 使用起來差距
跟同參數量的AR模型已經在1~2個世代之內. 這表示文本Diffusion已經誇過研究階段
正式進入工程實踐和大規模部署可能.






--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.73.134.246 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1782434524.A.DB0.html
推 danel801003 : 每個字都看得懂 組合起來就不懂 QQ
推 cliff9350814: 推
→ a282172002  : 到底為何要用晶晶體打文章
→ totoro7923  : CXL應該是次方案分流
→ cliff9350814: 回一樓
→ bole        : 換回GPU，台積電可以學美光宣布漲價10倍嗎？
推 jason168    : 真的是隔行如隔山，完全看無...
推 charlietk3  : 這文英文快比中文多了
→ timTan      : 這個很不晶晶體了吧。頂多memory 改記憶體
推 roots5071   : 同一樓
推 HiuAnOP     : 最大的問題是記憶體沒長進 不像邏輯
推 kmtkmtkmt   : 你這些Sentence比較difficult many版友read不懂
改一下, 有些詞不用英文真的不知道要怎麼寫
→ HiuAnOP     : 導致只能以量取勝
→ shinewind   : 這樣就晶晶體，要求太多了吧，專有名詞就很難用中
→ shinewind   : 文好好表達，台灣人習慣直接用英文名詞吧
→ timTan      : 頻寬需求應該沒有二次增長吧
推 ryryblue    : 我覺得文不錯 吐槽的自己等級不夠
推 shin123000  : 我看完了但我不記得看了什麼
→ ppit        : 現在科技進展這麼快,預測未來5年發展太難
推 lolicat     : 我還以為走錯板 科普大神出現了嗎
推 timTan      : Diffusion 在 Speculative Decoding，現在就可以用
推 HiuAnOP     : 光看近十年邏輯電晶體密度大概就贏幾十倍
→ timTan      : 每次有新的 Diffusion Model ，我也很興奮。
→ timTan      : 但就像原文說的，因為差了一點點，所以應用就侷限
→ timTan      : 了
→ offstage    : 記憶體之所以隨便調漲毛利，是因為記憶體可以隨便
→ offstage    : 調漲毛利。
推 Mikatuki    : 基層邏輯沒改就是HBM效益海放任何其他方案，這麼強
推 v86861062   : 推推
噓 ast2        : 講中文
推 dio0204     : 晶晶體在哪....第一線的技術文章本來就這樣
推 youga       : 看完了但好像又沒看
→ dio0204     : 覺得晶晶體的 八成也不是原PO想一起討論的族群
→ Altair      : 第一手資訊通常是英文的 中譯詞很難精準表達
推 tomdavis    : KV cache搬運減少256倍 金融業會覺得記憶體要崩盤
→ Altair      : 且未必有大家共識的中譯詞可用
→ Altair      : 不習慣的就等二手資訊 但那時間就滯後了
→ herculus6502: 問就是數學
推 tomdavis    : 只要有新聞是說加速 就會洗成硬體需求下降要跌
推 wvotyyj5    : Nand準備接手噴，
推 royhutw     : 感謝分享
推 ke1030      : 推推
推 strlen      : 看不懂的那這篇去問AI不就好了？提示詞就打：把文
→ strlen      : 章改成連五歲小孩都看得懂
→ LDPC        : 不是啊 提示詞應該是黃金獵犬都看得懂 電影有教
推 atpx        : 一堆領域都是只能這樣混用吧，很多名詞根本沒有官
→ atpx        : 方統一、自己掰一個別人也看不懂
推 b1izzard2000: 專業！
→ LDPC        : https://www.youtube.com/watch?v=LTDS6SHwA6w
→ atpx        : 黃金獵犬要看懂、那本篇文會變成一長串的吠叫聲吧
推 necrophagist: diffusion就目前多數生圖模型在用的 瓶頸是算力不
→ necrophagist: 是記憶體頻寬
推 Yoimiya     : 有沒有懶人包
→ LDPC        : @@上面電影影射高盛 老大都說用黃金獵犬聽得懂話講
推 inuwanwan   : Hbm漲也會灌在台灣對美的出口額嗎
推 casper955033: 結論是 All in MU 哈哈哈
其實結論是All in GOOG, 因爲GOOG在AI的各層面都有深入.
如果今天工程範式真的改變, GOOG是最有能力掉頭的, 從人才培育, 模型理論,
針對新工程範式的ASIC晶片設計, AI infra建設維護, 資金實力.
總體實力都不是另外兩家LLM能比的

那如果不變呢? 那表示Google Cloud這下要賺爛了

怎樣Google都贏, 而且估值並不高
推 jackshadow  : 哪裡晶晶體了 不是反串必定是文盲
推 fisher6879  : 算法沒更新前記憶體牆就是在那？是醬子的意思？算法
→ fisher6879  : 更新就是記憶體末路？
推 bunjie      : 建議這篇先經過翻譯在打上來 提示詞就直接用推文的
→ bunjie      : 內容
→ LDPC        : 黃金獵犬會贏 除非你是貓派@@
→ bunjie      : 不然和複製貼上有87像
→ strlen      : AI：改好了 文章在下方：汪汪汪汪汪汪汪汪汪汪汪汪
→ LDPC        : 汪汪汪汪汪汪 喵 汪汪汪汪
推 flycarb     : 記憶體是真的缺，但缺也代表算法革新的效益很高
→ strlen      : 狗家等我記憶卡蛙賺完再來轉倉 那時應該更低了 嘻嘻
→ LDPC        : 新算法到上路都要很久啊 看看SSM那號稱壓縮還是待解
→ LDPC        : 從有人把bert證明等效single text diffusion step
→ LDPC        : 到現在還是一堆 總之 汪汪汪汪汪 喵 汪汪
推 sdbb        : 謝謝
推 flycarb     : 推測，多次革新後導致堆記憶體加強AI表現趨緩才有解
→ LDPC        : 奇怪你們都不是狗派嗎@@黃金獵犬這樣可愛
→ flycarb     : 但真的還很久很久很久XDDD
→ bnn         : 99 GOOG
推 ynanlin     : 記憶體廠商當然是趁需求高坐地喊價大賺錢，但是現
→ ynanlin     : 在Frontier models用錢堆參數推智能後，原本想笑著
→ ynanlin     : 高價賣tokens給大量耗用算力的agentic AI換鈔票，
→ ynanlin     : 但目前正被中國緊追在後的開放模型和充沛電能攔胡
→ ynanlin     : ，特別是OpenAI的訂單可能在收入成長動能大轉向後
→ ynanlin     : 有變化，目前還是多關注記憶體自以為可持續的抬價
→ ynanlin     : 態度會如何受到現實反噬吧！
推 edgar76321  : 高級文推
→ LDPC        : 汪汪汪汪 汪汪汪汪
推 CorkiN      : CPU/GPU house都有在想辦法想設計要節省記憶體，但
→ CorkiN      : 記憶體越多效能越好的底層邏輯不變的情況下，記憶
→ CorkiN      : 體管你算法多強照樣缺
推 gwofeng     : 嗯嗯跟我想的一樣
→ cchen       : 太便宜不夠尊貴
→ mnmnooo     : 就是炒作價格太高，毛利才嚇人
推 whyhsu      : 好
推 AsahiDRY    : 越多資料 越多記憶體 = 噴 這次不一樣
→ fatb        : 就是武功再強 還是比手上的槍能多快
→ tomdavis    : 節省記憶體 = 會被沒料新聞業跟金融業解讀成利空崩
推 jimmy1112111: 那篇tf的論文也是goog發的，所以技術深度我是相信
→ jimmy1112111: ，但他們技術領先這麼多，為什麼還是被oai和anthr
→ jimmy1112111: opic打爛？
推 waitrop     : 你哪裡覺得被oai和anthropic打爛?網紅說的?新聞說?
→ waitrop     : 除了coding某方面輸anthropic,其他哪裡有輸了?
→ waitrop     : anthropic之前算力不足,大家沒看到,oai有問題沒看到
→ waitrop     : 但是大家每天用放大鏡在看谷歌AI
→ waitrop     : 就跟安卓哀鳳比較一樣,有信仰的會檢討自己
→ waitrop     : 沒信仰的,就算沒問題也會質疑你
※ 編輯: maplefff (42.73.134.246 臺灣), 06/26/2026 10:24:12
→ sonicyang   : 喊不懂的如果不是反串那我也是覺得蠻勇的
推 NTHUlagka   : 推推
推 pponywong   : open醬codex 5.5還蠻好用的 但是之前有新聞說人類學
→ pponywong   : fable5花了38分鐘 就寫出windows NT kernel
→ pponywong   : 再用opus 4.8 花了8天完成其他driver跟library
→ pponywong   : 結果真的可以跑windows NT程式
→ pponywong   : 以前上百名工程師好幾年寫的OS 一下就被AI做完了
推 wangyl      : 歡迎專業人士文章
推 bala045     : 大部分也只是人云亦云 人類學特別會做公關就是了
推 louner      : 推text diffusion還沒試過但一直很感興趣
推 yuro1470    : 科普文推
推 turndown4wat: 台灣做不出HBM嗎
推 dirk007     : 專利問題？
推 qscNERO     : 謝謝分享
→ mtmmy       : 到底為什麼會覺得這樣是晶晶體
→ offstage    : 因為文章沒有起承轉合，隨心所致。
→ offstage    : 看完全文之後，不確定結論是什麼。
推 GiPaPa      : diffusion產文字在目前還是追不上自回歸 但有機會
推 chatbra     : GOOG不是一堆天才跳槽到其他家了？怎麼還是最大贏家
推 sdbb        : 天下武功出少林 天下AI出谷歌
推 daniel6412  : 謝謝優文
推 kevin1732   : 為什麼一定要有結論？
→ offstage    : 今天雨下得很大                這樣
推 hanszaza    : 謝謝優文
推 GOPAPA      : 跳槽的底下說不定有其它天才
推 Tsukasa0320 : 看不懂的自己去玩一遍本地模型就懂了
推 breathair   : 谷歌變成記憶體的血包，唉
→ breathair   : 谷歌最大的問是的Gemini 3.5 Pro 從五月IO大會缺席
→ breathair   : 說六月會來，然後六月底AI大將不是去OAI 就是去A家
→ breathair   : 模型現在要延到7月，大將走了7月不知道出不出的來
→ breathair   : 以及出來的品質如何，要是Gemini沒辦法跟上模型第一
→ breathair   : 梯隊，會有護成河鬆動的問題。這個目前還沒被定價
→ breathair   : 目前只被定價記憶體血包，各大CSP都在跌
→ breathair   : 現在這個狀況谷歌倉位不宜過重。QQ
推 chuikov     : 太深奧
推 deolinwind  : 翻譯一下，google的gemma diffusion會讓記憶體頻寬
→ deolinwind  : 下降256倍，輝達alphabet繼續漲，美光跌（是不是真
→ deolinwind  : 的就不重要了，股版不在乎
推 myheartest  : 你太抬舉這邊的人了 這邊87%只想知道股票代號和點位
→ offstage    : 講這麼多，如果還是無法明確表示該買還是賣，就是
→ offstage    : 沒有意義的文章阿。就像非洲人有一半沒有穿鞋子
→ offstage    : 你知我知上帝知，但這到底對賣鞋的來說是好還是壞？
推 Lhmstu      : 推文本diffusion，應該是未來
推 myheartest  : 所以說啊 這陣子一堆投資網紅都在講基本面
→ myheartest  : 笑死 這種才是基本面 結果大家每天追消息當成基本面
→ myheartest  : 真正基本面超枯燥無聊一堆天書
→ myheartest  : 不是在那邊誰搶單誰掉酖誰改規格好嗎
→ myheartest  : 講難聽點那些網紅所謂的基本面根本只是想追內線
→ myheartest  : 然後再用小學生簡單乘法抓個目標價 大家拍拍手
推 buddhawu    : 好專業的文