[心得] AI需求是供應商精心設計好的套路

[teddy98 (泰迪!走吧!)]

我來說說，為甚麼說，AI需求是供應商精心設下的套路吧！


剛踏入AI的人

可能會覺得，AI的神經網路演算法(大規模平行矩陣運算)，

好吃硬體資源啊，硬體規格的需求好大，幾乎看不到天花板。

所以，很多人會有＂AI算力需求是永無止盡的＂這種錯覺，


但用久了開始熟悉AI之後，你會發現，

其實AI龐大的硬體需求，是一種供應商精心鋪設好的套路

也是一種吹捧、誇大其辭的行銷手段。


為甚麼會這樣講？

第一，AI模型的節點不一定有經過優化（化繁為簡）

拿軟體來比喻，一個source code寫很爛的軟體，沒有經過優化，

如遞迴運算，消耗掉比正常高2~3倍以上的硬體資源。

會佔用大量的 GPU VRAM 和運算週期。


這時，你怪的不是AI模型爛，而是AI算力不夠？


第二，AI模型的運算流程可以分批次進行

一個步驟，可以切成4個子步驟進行，用For循環4次執行

如生成式繪圖，如果一張解析度非常大的圖像，

切割成4個區塊，用For循環做4個批次處理，再用TTP圖像拼接/重組，

將4個處理好的圖像做合併

＂可以大幅減少AI在運算時VRAM的占用量。＂


這部分算是AI行家才知道的機密，供應商絕對不會和消費者說。

因為要是讓你知道了，你就不會為了增大VRAM升級你的顯示卡或DRAM了。


前陣子，我在看GPU規格時，VRAM總是找不到16G以上的規格，

現在回想，果真是中了NVIDIA的市場行銷套路。

因為，輝達，配備VRAM 24G以上的唯獨最頂級90系列的GPU才有，

如: RTX 3090, RTX 4090, RTX 5090


現在回想，當時是差點中計了，浪費錢買RTX 5090是不必要的。

因為AI算法再怎麼吃資源，也是能透過優化和分批處理，來解決硬體配備不足的部分。

實測後，再高解析度的繪圖，12G的繪圖卡也能勝任。

也不需因為GPU記憶體的配置比較低而選用低精度的模型，fp16照樣可以跑得很順暢。


目前生成式AI的發展非常快，模型也漸趨成熟了，

只要巧妙地設置好AI的流程，好像也說不上，需要多高階的硬體規格來跑AI模型。

而且現在的AI模型不斷推陳出新，新的AI模型的容量也越來越小。

占用的GPU資源也明顯下降。

大部分舊模型低配要24G VRAM才能跑的，新模型只要16G甚至12G VRAM就能完美運行。

不管是文字圖片精修，影像P圖，視訊P圖，設好對的節點，低配的GPU也能完美優化。



現在那些號稱＂專家＂或＂分析師＂的傢伙

對於AI的硬體需求越開越高，到達浮濫的地步，

會有這種現象，很大程度上是供應商（輝達）精心設下的套路。

也是為了喊多股市的一種噱頭。


不過，很少用Photoshop是真的，AI模型很大程度上解決以往在影像修復上的難題。

圖片經過AI重新生成，容量也變小了

（原圖722KB，修復後268KB，減少將近63%。) 計算: (722-268)/268*100%=62.88%



試問各位的看法呢？怎麼看未來AI的硬體供貨需求？

記憶體族群的雜音最多，有人喊AI供貨短缺上看2030年

但Samsung開始跟客戶簽長約，有人說可能離市場飽和不遠了

以目前的記憶體類股的股價來看，是看多還是看空呢？

----

書脊，修復前
https://ibb.co/1tzg824g

書脊，修復後
https://ibb.co/zWRrPqjr

AI生成 - 虎兔狗
https://ibb.co/8n8MF5Kr
https://ibb.co/5hwkq4ZB
https://ibb.co/nN83j1XD

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.110.105.47 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1774114355.A.A23.html
→ MizPerfect  : 未來  一定是跟雲拿token  速度很重要
→ MizPerfect  : 推理速度跟顯卡位寬息息相關  君不見此次5090升級
→ MizPerfect  : 512 位元寬度  4090  跟  5090DD 還是384位元寬度
→ MizPerfect  : 決定位元寬度的東西 就是 顯存   所以顯存夯爆
→ MizPerfect  : 但股市 多空 看的是誰錢多誰錢少   由大盤決定多空
現在就是記憶體一直在瘋狂漲價，一直在喊多。堪稱目前需求龐大到看不到盡頭。

推 ProTrader   : 文中2點都是資工系的基本議題
→ ProTrader   : 第一點是演算法優化  用更高效的演算法得到相同結果
→ ProTrader   : 第二點大數運算  資料超出常規記憶體時的演算法
→ ProTrader   : 隨便一個資工系的都知道  只是目前大廠是求快拼結果
→ ProTrader   : 確認具體任務後才是演算法優化
→ ProTrader   : 之前火熱的DeepSeek就是一種優化 搶新聞版面
推 dannpptt    : AI算力需求、硬體限制、演算法優化都能分別進步的
→ dannpptt    : 不太可能說演算法很好 你就沒有硬體需求
推 ChikanDesu  : 呃 你能知道 那七巨頭工程師會不知道？
→ ProTrader   : 總之這兩年記憶體需求都很熱 不需要懷疑
→ ChikanDesu  : DS再怎麼優化 也是始終落後人一步 而且優化完的模型
→ ChikanDesu  :  給擁有最頂尖算力的人拿去用 不就更飛天？
→ ChikanDesu  : 開源就是這樣啊 但就是不知道盡頭到底什麼模樣 是AG
→ ChikanDesu  : I達成就停還是可以繼續突破
推 ProTrader   : 目前大廠還是拼新模型  優化現有模型是AI新創的市場
→ ProTrader   : 幫客戶專門客製改良的AI模型
→ ProTrader   : AGI還早 說AGI的主要是行銷廣告用途
我現在最懷疑的就是，AI需求一定會到接近市場飽和，不可能會永無止盡，

製程節點是會隨著時間一直推進，但講真的價格貴，以成本來說，殺雞不須用牛刀，

如果非電動車(BSM電池管理)或配備AI自動駕駛的車用晶片不需大量使用先進製程。

到了市場需求接近飽和，價格也一定會逐漸下降。
※ 編輯: teddy98 (123.110.105.47 臺灣), 03/22/2026 02:06:55
推 Vvvahc      : 你如果是電機的根本不會講這種話   個人data是有多
→ Vvvahc      : 大?  需要高階算力的不是你而是大型上市企業
推 komeko      : 結論就是AI炒過頭了 萬一有個環節斷裂這整座吹出來
→ komeko      : 的Ai大樓就會因為AI變現太慢而倒塌
噓 Sugimoto5566: 2020美聯儲瘋狂印鈔導致通膨失控,照某樓邏輯鮑爾也
→ Sugimoto5566: 知道會失控所以是故意印鈔囉?
推 arnold3     : 反正需求無限多 現在ai根本應付不完
→ arnold3     : 光蝦皮隨便上架十件 就要做10個短視頻
→ arnold3     : 沒ai你要怎麼搞?找人幫你做嗎
推 komeko      : 當年也是覺得5G跟VR 3D列印很有前景 結果現在變成這
→ komeko      : 樣
推 komeko      : 那些炒作記憶體股的要留意 如果現在大家都在瘋狂的
→ komeko      : 採購記憶體 會不會變成因為之前買太多 而後面又發現
→ komeko      : AI其實不那麼需要浮閘晶體管 導致之後幾年出現需求
→ komeko      : 斷崖
噓 strlen      : 理想很豐滿 優化大家當然也在做 但是沒有那麼簡單
→ strlen      : 好嗎？還是你以為優化一個模型幾天就搞定？
推 ProTrader   : 算力記憶體之類的未來演算法優化後需求就不會那麼多
→ strlen      : 另外算力需求10年之內都不可能滿足的
噓 Sakaki7777  : 他們也沒說錯 現在AI就是有算力和記憶體需求 因為優
→ Sakaki7777  : 化還做不到
→ strlen      : 你知道目前全世界只有14 %的人有用過AI嗎？
→ ProTrader   : 但優化是以後的事 目前大家都在比快拼出結果搶市佔
推 cphe        : 講白了就是現在這個階段硬體無法完美支撐AI應用，
→ cphe        : 過個幾年有可能不再需要那麼多的硬體，就像最早的
→ cphe        : 電腦超大一台但做不了什麼事，到現在人手一台電腦
→ cphe        :  手機，資源已經過剩，會飽和，但不是現在
→ strlen      : 然後只有0.3%的人付費 算是重度用戶
→ Sakaki7777  : 但你講的也有道理 一旦真的能優化了 這些短缺通通ba
→ Sakaki7777  : ng不見 到時候股價一定很刺激
推 L1ON        : 感覺文
推 ProTrader   : 可以用AlphaGo當例子  初始版跟最終版差非常多
→ ProTrader   : 目前AI的第一版根本都還沒完成
→ LDPC        : =_= 你叫ai優化自己啊 人類學最愛幹這種事情
推 cphe        : 至於你說的優化，去年Deepseek 發表後相關個股大跌
→ cphe        : 就是因為這樣啊   但後來證明這種飽和的時機還很遙
→ cphe        : 遠
噓 l11111111   : 以前很多裝懂的也無法想像Tb等級的硬碟
推 ProTrader   : 用電腦發展來說  目前AI類似當年大型主機的時代
→ bryanhihi   : 是是是…您比CCW聰明，您贏了，好嗎
噓 zero790425  : 你知道AI理解tag的過程全是人手工打標籤教育嗎
→ josephpu    : 這篇認知還停留在一兩年前 不知怎麼吐槽
推 josephroyal : 事實上現在算力就是供不應求 你可以說老黃在炒作ai
→ josephroyal : 賣硬體 但七巨頭可是實打實的拿錢出來買
→ josephpu    : 很明顯根本沒去了解產業前端在幹嘛，單純自己幻想
推 h0103661    : 小模型跟大模型差很多，9B是夠強，但你想要拿去寫c
→ h0103661    : ode或跑龍蝦用的前沿模型可是700-1000B，需要2000g
→ h0103661    : b以上的vram，再想想需求吧。
推 a0808996    : ai現階段就不是拿出來賣的 是拿來裁員的
→ a0808996    : 一般用戶需求還很小 但是對大公司來說比薪水便宜
推 Francix     : 没優化好，模型比人差不就會被淘汰了，而且算力需
→ Francix     : 求要看之後應用，是供不應求還是供過於求？
→ a71085      : 能優化跟減少投入是兩回事 這個在DS之後不就看清楚
→ a71085      : 了 到AI真的變成完整的AI前就是太空競賽
→ Lyon718     : Token就是不夠用不夠便宜，現在討論泡沫？？？你以
→ Lyon718     : 為是去年的deepseek再起嗎
→ a71085      : 世界上不能靠堆數量成功的多的是了 至少AI目前為止
→ a71085      : 你狂砸還能看到前進的進度
推 xm3u4vmp6   : 一定是不會寫程式的人才講出
→ xm3u4vmp6   : 沒料
推 fgkor123    : 優化不如做新的快啊
噓 watashino   : 笑死
推 e510171     : 你說得對 各大CSP應該請你去當總工程師
推 nfsong      : 強烈建議 去看黃仁勳 上ALL IN Podcast的影片
→ nfsong      : 他一再強調  不要將現實和虛幻 混在一起談
推 nfsong      : DELL PRO MAX with GB300 and 750G LPDDR5 工作站
→ nfsong      : 750g 的記憶體阿!!!
→ nfsong      : 這是要賣去所有中小企業的工作站
→ nfsong      : 邏輯推理比一般GPT消耗多100倍的token
→ nfsong      : 然後agentic 又比邏輯推理多消耗100倍的token
推 duriamon    : 有人就誤會，NV的記憶體是老黃不給而不是他給不起，
→ duriamon    : 老黃刀法就是要削各位口袋裡的錢，呵呵！
→ nfsong      : 現在算力已經不足 , 所以open ai 降低影片Sora的
→ nfsong      : 消耗
→ nfsong      : 看看那個雪山救狐狸宇宙
→ nfsong      : this is why ram costs $900
→ nfsong      : 因為agentic 開發已經確實在業界前端解決職務問題
→ duriamon    : 不是歐噴醬算力不足，而是歐噴醬錢錢快燒完了，歐噴
→ duriamon    : 醬再繼續亂燒錢就準備被股東踹下去了，可憐啊！凹凸
→ duriamon    : 慢，呵呵！
→ nfsong      : 然後公司願意為 職務上生產力 付出高額代價
→ nfsong      : 所以 黃仁勳 再All in有說 anthropic 的估值可能
→ nfsong      : 要再高10倍以上
噓 dickey2     : 不對，你對AI的理解錯了
→ nfsong      : 300E 到2030年的一兆美金
→ nfsong      : 沒考慮到 所有應用到anthropic產品的 加值服務公司
→ nfsong      : blender Autodesk adobe photoshop 都在用agentic
→ nfsong      : 開發自己的產品 讓這些產品 agentic化
→ nfsong      : 實務上  這些軟體公司 正在用前所未有的速度開發中
→ nfsong      : AUTO CAD 以後agentic化更符合 ai建模開發
推 nfsong      : 他看機器人也很準
→ nfsong      : 黃仁勳說 用業界最先進的Prototype 到市售產品
→ nfsong      : 大概只要2~3個開發週期  3~5年
→ nfsong      : 機器人就會  進入家庭
→ nfsong      : iron man jarvis 開發CAD 就是想像圖
推 LM77        : 有道理
→ nfsong      : 全世界都缺勞工  機器人會補上缺口
推 ProTrader   : 直接跟人類溝通的jarvis還太早 還是需要工程師
推 nfsong      : 工廠agentic化 可以直接 雲端丟g-code
→ nfsong      : 然後  快遞agentic 直接就送到你家
→ nfsong      : 對有上雲端的CNC工廠  應該都會接agentic化
→ nfsong      : 通用機器人 拆包 直接拿來組裝
→ nfsong      : 可預見的未來
→ nfsong      : 機器人  自己下單  買行星關節  替換自己的關節
噓 Rockman5566 : 我就是要賺你這種人的錢
推 c94dk40204  : 原來如此 ，如果是真的那哪些吃ai周邊的都準備修正
噓 vettelking  : 現在才發現？過去老黃的每代顯卡更新進步很大部分
→ vettelking  : 跟軟體有關，所以即便AMD拿到一樣製程晶片一直都是
→ vettelking  : 扮演追趕著的角色
噓 as6633208   : 你真的架出來一支聊天機器人或openclaw再說好不好，
→ as6633208   : 看就知道只是網頁或手機上去gpt問一下的程度，這種
→ as6633208   : 程度也不用買顯卡，但你要付錢和廣告給AI廠商，所以
→ as6633208   : 你的問題答案是，數據中心AI廠商有需求，東西夠好你
→ as6633208   : 們也不得不付錢給他們，要省錢就是要自己買顯卡建 l
→ as6633208   : oop
推 kingofsdtw  : 現實是遊戲開發成本越來越低，靠硬體優化
→ kingofsdtw  : 期待優質作品？資本不允許
推 hihjktw     : poor guy 沒錢應該好好賺錢 一直將就的人生心裡很
→ hihjktw     : 委屈喔
噓 as6633208   : 整片看下來你連為什麼要用AI都講不清楚，就知道是在
→ as6633208   : 亂聊胡說八道了，應用都不知道用在哪，大談AI需求
噓 selvester   : 理解方向應該是完全不同的東西 像是在AI裡面沒有.
→ selvester   : for迴圈 沒有if else 從頭到尾都是張量與評估
→ selvester   : 沒有語法 所以沒有人為修改最佳化的演算 只有重新
→ selvester   : 放新標準 評估修正 大量訓練
推 lepidoptera : 股票也是精心設計好的遊戲 你不也玩得很開心？
推 JasonTatum11: 有paper講說現在那些token和weight 用降到4bit去跑
→ JasonTatum11:  出來結果差不多
推 seemoon2000 : 不管是資本主義還是共產主義 最終都是設計好的套路
推 q888atPt    : 對也不對，如果是做辨識類的，每個工程師一直都有
→ q888atPt    : 在做優化，誰只在用暴力解，但現在又創造出來的代
→ q888atPt    : 理人的需求，為了提升正確率就得是99%以上正確率去
→ q888atPt    : 疊加，當然也有可能出現一個方程式可以解決但現在
→ q888atPt    : 就還沒出現，等那個人出現可能就是AI時代的牛頓特
→ q888atPt    : 斯拉之類的
→ seemoon2000 : 人類多數人傾向是懶惰、跟隨及追求舒適 如果這個套
→ seemoon2000 : 路會讓你願意遵從 那也沒什麼不好不是？
推 OOorc       : 確實是
推 guanting886 : https://i.imgur.com/8yuldMU.jpg
噓 oldntu      : 又是你，你是空多少？
噓 deepdish    : 周末鬼故事
→ hyuying     : 剛流行起來的科技一定是最熱門的
→ hyuying     : 就會有一堆仇富心態
推 eie818      : 人性，一開始就是為了衝、浪費，尤其代理如同2一直
→ eie818      : 重複遞迴問有夠浪費