推 poru : 軟體程式可以優化的程度有限，畢竟硬體天花板就在 03/22 04:58
→ poru : 那！ 03/22 04:58
賣鏟子的人可以吹
但是買鏟子都要負責公司的營收獲利 也不是笨蛋
演算法可以精進 這不是軟體業的common sense 嗎?
如果一樣的資金可以買到很好的性能 有人要多花數倍的成本買硬體設備 ?
然後公司毛利較低 ?
現實就是看到各家csp業者的資本支出大增
所以你所說的龐大硬體需求，是來自csp業者的決定
他們決定要買多少硬體 做出多大的服務
這些業者都是軟體業的翹楚 怎麼可能會不知道演算法可以精進
NVIDIA 負責做伺服器，又不負責各種LLM的模型開發
※ 引述《teddy98 (泰迪!走吧!)》之銘言：
: 我來說說，為甚麼說，AI需求是供應商精心設下的套路吧！
: 剛踏入AI的人
: 可能會覺得，AI的神經網路演算法(大規模平行矩陣運算)，
: 好吃硬體資源啊，硬體規格的需求好大，幾乎看不到天花板。
: 所以，很多人會有＂AI算力需求是永無止盡的＂這種錯覺，
: 但用久了開始熟悉AI之後，你會發現，
: 其實AI龐大的硬體需求，是一種供應商精心鋪設好的套路
: 也是一種吹捧、誇大其辭的行銷手段。
: 為甚麼會這樣講？
: 第一，AI模型的節點不一定有經過優化（化繁為簡）
: 拿軟體來比喻，一個source code寫很爛的軟體，沒有經過優化，
: 如遞迴運算，消耗掉比正常高2~3倍以上的硬體資源。
: 會佔用大量的 GPU VRAM 和運算週期。
: 這時，你怪的不是AI模型爛，而是AI算力不夠？
: 第二，AI模型的運算流程可以分批次進行
: 一個步驟，可以切成4個子步驟進行，用For循環4次執行
: 如生成式繪圖，如果一張解析度非常大的圖像，
: 切割成4個區塊，用For循環做4個批次處理，再用TTP圖像拼接/重組，
: 將4個處理好的圖像做合併
: ＂可以大幅減少AI在運算時VRAM的占用量。＂
: 這部分算是AI行家才知道的機密，供應商絕對不會和消費者說。
: 因為要是讓你知道了，你就不會為了增大VRAM升級你的顯示卡或DRAM了。
: 前陣子，我在看GPU規格時，VRAM總是找不到16G以上的規格，
: 現在回想，果真是中了NVIDIA的市場行銷套路。
: 因為，輝達，配備VRAM 24G以上的唯獨最頂級90系列的GPU才有，
: 如: RTX 3090, RTX 4090, RTX 5090
: 現在回想，當時是差點中計了，浪費錢買RTX 5090是不必要的。
: 因為AI算法再怎麼吃資源，也是能透過優化和分批處理，來解決硬體配備不足的部分。
: 實測後，再高解析度的繪圖，12G的繪圖卡也能勝任。
: 也不需因為GPU記憶體的配置比較低而選用低精度的模型，fp16照樣可以跑得很順暢。
: 目前生成式AI的發展非常快，模型也漸趨成熟了，
: 只要巧妙地設置好AI的流程，好像也說不上，需要多高階的硬體規格來跑AI模型。
: 而且現在的AI模型不斷推陳出新，新的AI模型的容量也越來越小。
: 占用的GPU資源也明顯下降。
: 大部分舊模型低配要24G VRAM才能跑的，新模型只要16G甚至12G VRAM就能完美運行。
: 不管是文字圖片精修，影像P圖，視訊P圖，設好對的節點，低配的GPU也能完美優化。
: 現在那些號稱＂專家＂或＂分析師＂的傢伙
: 對於AI的硬體需求越開越高，到達浮濫的地步，
: 會有這種現象，很大程度上是供應商（輝達）精心設下的套路。
: 也是為了喊多股市的一種噱頭。
: 不過，很少用Photoshop是真的，AI模型很大程度上解決以往在影像修復上的難題。
: 圖片經過AI重新生成，容量也變小了
: （原圖722KB，修復後268KB，減少將近63%。) 計算: (722-268)/268*100%=62.88%
: 試問各位的看法呢？怎麼看未來AI的硬體供貨需求？
: 記憶體族群的雜音最多，有人喊AI供貨短缺上看2030年
: 但Samsung開始跟客戶簽長約，有人說可能離市場飽和不遠了
: 以目前的記憶體類股的股價來看，是看多還是看空呢？
: ----
: 書脊，修復前
: https://ibb.co/1tzg824g
: 書脊，修復後
: https://ibb.co/zWRrPqjr
: AI生成 - 虎兔狗
: https://ibb.co/8n8MF5Kr
: https://ibb.co/5hwkq4ZB
: https://ibb.co/nN83j1XD
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.138.123.93 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1774121520.A.C3C.html
※ 編輯: dsrte (223.138.123.93 臺灣), 03/22/2026 03:35:23