Re: [心得] AI需求是供應商精心設計好的套路

[cosmo7897 (普萊兒)]

最近在想一個跟原po類似的問題

剛好也跟 AI 討論了一陣子，整理成一些自己的觀察

先拋結論：
這不太像什麼已經被設計好的套路，比較像是「科技樹還沒點到那裡」

目前 AI 發展其實有兩條很明顯的趨勢在同時發生：

一個是大模型持續變強，但邊際效益開始下降

模型變大還是會變強，但提升的幅度，跟投入的算力、成本相比，沒有以前那麼划算

另一個是小模型越來越強

透過 distillation、quantization，還有針對特定任務優化

小模型其實已經可以 cover 很多實用場景

所以就出現一個有趣的可能性：

未來「訓練大模型」這件事，可能還是只會集中在少數幾間大公司手上

但「推理」這件事，不一定需要一直依賴超大模型

有沒有可能變成 把任務拆開，交給多個小模型，在不同裝置上協作完成？

這個概念其實有點像公司運作：

公司不會全部都請通才，而是不同領域的專才組成不同 team，一起把事情完成

對應到模型也是一樣：

現在的大模型，其實有點像把各種能力（語言、邏輯、知識）全部塞在一起

但理論上，這些能力是可以被拆分、模組化的

問題就出在一個關鍵點：latency（延遲）

如果是一個大模型，你問問題，它可以一次 forward 就給答案

但如果是多個小模型協作，就會變成：

模型 A → 模型 B → 模型 C
中間需要傳遞資訊、同步狀態，甚至「討論」

這個過程的延遲，如果太高，就完全不可行

所以我現在的理解是：

未來架構會不會改變，關鍵不在模型大小，而在 latency 能不能壓下來

如果有一天：

- 裝置間通訊延遲大幅下降（硬體 / network）

- 模型之間的協作機制變成熟（software / protocol）

那多小模型協作，才有可能真的落地

到那個時候，整個生態可能會有一些變化：

- GPU / memory 還是很重要，但需求不一定是「無限膨脹」

- 能源問題也可能被部分緩解（因為計算被分散）

- 邊緣裝置（手機、桌機、筆電、車機、甚至穿戴裝置）的算力不再閒置

現在其實是：

我們在用雲端 server 跑 AI，
但身邊一堆裝置的算力都是閒置的

未來有沒有可能變成：

這些裝置一起參與推理，變成一種分散式 AI？

當然，這條路現在還卡在 latency、穩定性、還有系統複雜度，但我相信已經有人在研究了

所以短期內，大模型 + 雲端還是主流

但如果這些問題被解掉，現在這種「集中式算力 + 超大模型」的模式，未必是唯一解

大概就是這樣，算是一點還沒成熟的想法，拋出來看看大家怎麼想

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.168.146.181 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1774141163.A.E2A.html
推 Shiang1225  : 這篇正解 我們看太短了 明明就是要10年20年的東西
推 sceleton    : 歷史上來說就是這樣。Mainframe => PC => server =>
→ sceleton    :  smartphone
推 CKRO        : 這個想法很有意思
推 masala      : 終端產品的算力被架空了，淪為一個收發器而已
→ bnn         : 你這個就Edge想幹的 遲早的事 但現在沒必要
→ bnn         : 因為現在架Edge你付出的就你說的額外成本不如擴大dc
→ bnn         : 因為現在能回收的反而是小利基型特化 先證明能回收
→ bnn         : Edge是要到普及人手一支能回收的通用p2p-like串接
→ bnn         : 而目前對資料傳輸的需求連短距離都不能忍銅線要CPO
→ bnn         : 你要進步到無線能傳低功耗大資料量 科技樹還沒點到
→ bnn         : 就跟現在你可以幾張顯卡自架local(一台Edge主機)
→ bnn         : 但顯然這是上面的PC階段 距離smartphone還很遠
→ bnn         : 要解決完縮小 能耗 散熱 傳輸一堆問題
→ layer0930   : 這個目前困難性太高了，還有成本問題
→ Kayusumi    : 目前一些手機上的ai運用就算是輕量化模型吧
推 cphe        : 一定會這樣吧     只能說AI才剛起步，硬體無法滿足
→ cphe        : 需求，未來一定會有需求緩和下來回歸正常的時候
→ cphe        : 至於Edge AI目前完全不夠力
→ potionx     : 兩者會並行 依照需求決定你使用什麼裝置
推 CGDGAD      : 現在不是有混合專家模型嗎？專門的問題會導向專門
→ CGDGAD      : 的推理路徑增加運算效率
→ paimin      : 結果你的小模型比大模型還廢 成本還高 繼續用大的
→ stocktonty  : 你是跟什麼等級的AI討論要先釐清
推 japan428    : 你講的就是邊緣ai吧，其實Apple這些行動裝置廠商都
→ japan428    : 著手佈局了啊
→ japan428    : 但這跟CSP會有巨大需求不衝突，因為現在光看openc
→ japan428    : law吃token 的量就很驚人
推 mdkn35      : 個人覺得gemini已經是這樣了 要畫圖才切banana