推 giveUstars : 用多數人都明白的舉例就是頻寬吧 03/22 11:54
推 acer1832a : 同樣的道理，似乎也可以套用到軍工產業上 03/22 11:57
推 stocktonty : 還沒就是已經 已經就是還沒 03/22 13:05
推 bluefancy : 伊朗斬首應該是有用到ai 03/22 16:23
※ 引述《teddy98 (泰迪!走吧!)》之銘言：
: 我來說說，為甚麼說，AI需求是供應商精心設下的套路吧！
: 剛踏入AI的人
: 可能會覺得，AI的神經網路演算法(大規模平行矩陣運算)，
: 好吃硬體資源啊，硬體規格的需求好大，幾乎看不到天花板。
: 所以，很多人會有＂AI算力需求是永無止盡的＂這種錯覺，
: 但用久了開始熟悉AI之後，你會發現，
: 其實AI龐大的硬體需求，是一種供應商精心鋪設好的套路
: 也是一種吹捧、誇大其辭的行銷手段。
: 為甚麼會這樣講？
: 第一，AI模型的節點不一定有經過優化（化繁為簡）
: 拿軟體來比喻，一個source code寫很爛的軟體，沒有經過優化，
: 如遞迴運算，消耗掉比正常高2~3倍以上的硬體資源。
: 會佔用大量的 GPU VRAM 和運算週期。
: 這時，你怪的不是AI模型爛，而是AI算力不夠？
: 第二，AI模型的運算流程可以分批次進行
: 一個步驟，可以切成4個子步驟進行，用For循環4次執行
: 如生成式繪圖，如果一張解析度非常大的圖像，
: 切割成4個區塊，用For循環做4個批次處理，再用TTP圖像拼接/重組，
: 將4個處理好的圖像做合併
: ＂可以大幅減少AI在運算時VRAM的占用量。＂
: 這部分算是AI行家才知道的機密，供應商絕對不會和消費者說。
: 因為要是讓你知道了，你就不會為了增大VRAM升級你的顯示卡或DRAM了。
: 前陣子，我在看GPU規格時，VRAM總是找不到16G以上的規格，
: 現在回想，果真是中了NVIDIA的市場行銷套路。
: 因為，輝達，配備VRAM 24G以上的唯獨最頂級90系列的GPU才有，
: 如: RTX 3090, RTX 4090, RTX 5090
: 現在回想，當時是差點中計了，浪費錢買RTX 5090是不必要的。
: 因為AI算法再怎麼吃資源，也是能透過優化和分批處理，來解決硬體配備不足的部分。
: 實測後，再高解析度的繪圖，12G的繪圖卡也能勝任。
: 也不需因為GPU記憶體的配置比較低而選用低精度的模型，fp16照樣可以跑得很順暢。
: 目前生成式AI的發展非常快，模型也漸趨成熟了，
: 只要巧妙地設置好AI的流程，好像也說不上，需要多高階的硬體規格來跑AI模型。
: 而且現在的AI模型不斷推陳出新，新的AI模型的容量也越來越小。
: 占用的GPU資源也明顯下降。
: 大部分舊模型低配要24G VRAM才能跑的，新模型只要16G甚至12G VRAM就能完美運行。
: 不管是文字圖片精修，影像P圖，視訊P圖，設好對的節點，低配的GPU也能完美優化。
: 現在那些號稱＂專家＂或＂分析師＂的傢伙
: 對於AI的硬體需求越開越高，到達浮濫的地步，
: 會有這種現象，很大程度上是供應商（輝達）精心設下的套路。
: 也是為了喊多股市的一種噱頭。
刪一些
類似的討論不就是之前deepseek那時早就講過了
實際上就是模型可以優化，那優化過的在更強的硬體上跑不就更好了?
算力要夠了，就是現在算力產出的東西"夠用了"不必再更快，更好了
龍蝦取代所有人工了沒?
gemini還是哪家ai屌打所有專家和人類了沒?
或是你的例子，小模型都追上大模型了沒? 實際上還愈差愈多
應用卡在每瓦的token產出，token不缺了沒?
不夠的話老黃下代產品讓你同樣每瓦產出多三倍、五倍、十倍，要不要買?
這些還只是llm喔，之後有沒有大變化還難說，那七巨頭要不要買保險?
所以提出的問題是軟體會一直優化，到時抄就好了，歐印硬體反而更實在
這也是現在巨頭們在幹的事，
優化大家都會做，優化後可以拿同樣硬體資源幹更多事，
是等比放大效率，你說的是人們不需要更高的效率，目前不是這樣。
要討論老問題，資金夠不夠這樣一樣砸還比較實際
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.25.147.10 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1774151531.A.72D.html