Re: [閒聊] 為什麼開源模型對硬體的要求可以降低

[attacksoil (第三方程式)]

本宅理解是這樣:

1. 模型越大越聰明 模型越小運行越快
但隨著技術進步 小模型也會變聰明

2. "量化"是指把大模型刪減為小模型 仍盡量維持模型智能的技術
量化技術也不斷改善

3. 這兩年有一個新技術叫MOE 他原始的意義
其實主要是為了讓大模型運算加速 (讓大模型跟小模型一樣快)
但因為其特性(稀疏) 讓很多採用MOE架構的模型
在"量化"時也可以更保留模型智能 (這段關聯我也不是太懂)
所以結果小模型更快 效果更好

4. 但量化其實也會讓模型運行變慢（有點像是要unzip)

5. 然後其實是開源和閉源模型一起進步
只是我們一般用戶只能看到閉源模型尺寸變小

發現首篇好像沒點 補一下

所以結論就是像2樓說的 以後每個人手機都可以養chobits
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.167.67.11 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1786407342.A.E6F.html
※ 編輯: attacksoil (223.137.21.73 臺灣), 08/11/2026 08:18:36
→ skyofme: 因為開源只要有人想做就能做，所以你只關心特定功能，開
→ skyofme: 源的進度可能會比較快
→ skyofme: 沒開的就只能看維護的人選擇怎麼做
→ nineflower: 再過5年 手機可能都能安裝大型本地模型了
※ 編輯: attacksoil (223.137.21.73 臺灣), 08/11/2026 08:33:01
→ jakai: 應該說手機上跑的模型會越來越聰明，知識純量還是會受限
→ error405: 弄出超強大模型 再用它做小模型
→ error405: Qwen gemma4 還有最近祖克伯出的都是這樣
推 jupto: 手機有聯網能力幹嘛本地跑模型？ 這個需求應該會更傾向於在
→ jupto: 車載或無人機這種無法保證聯網穩定又有即時需求的終端上
→ error405: 總是有些私人需求 對阿
→ nineflower: 8F.....你這問題天真到不知道該如何回答
→ jupto: 我覺得與其發展手機跑的本地模型 應該會發展成廠商直接提
→ jupto: 供線上的高隱私模型
→ skyofme: 連回自家本地比較合理就是了
→ nineflower: 你這問題把手機換成電腦就能得到答案了
→ skyofme: 真的能在手機本地部署大概也割了蠻多能力的
→ skyofme: 線上服務目前就一個問題你有沒有比較敏感的需求
→ labbat: 手機AI修圖已經落後了，影片銳利化也是，現在是AI助理
推 nineflower: 至少本地能省錢 等這一波AI大逃殺結束 活下來的可以任
→ nineflower: 意漲價 想了就可怕
→ skyofme: 不討論犯刑法的，有版權議題的就很難保證穩定
→ jupto: 就算有敏感需求 也能靠保密契約或是加密技術保證敏感資訊
→ jupto: 的安全 因為這個需求去閹割性能不划算
推 kalen123: 你手機不發展本地模型，在攝影、拍照、翻譯等對即時性
→ kalen123: 要求極高的需求時要怎辦？你等的起那幾秒？在網路未普
→ kalen123: 及的國家、或根本沒訊號，或因為人太多網路壅擠的地區
→ kalen123: 怎辦？
→ jupto: 本地省錢就完全看你性能要求跟不跟的上時代了 人家數據中
→ jupto: 心的成本攤提比你本地架有優勢多了 跟著時代浪潮的性能需求
→ jupto: 你拼不過那些巨頭
→ qss05: 手機還是先解決電池的問題吧，還沒用模型就已經不夠用了，
→ qss05: 一堆人說什麼他可以手機用兩天，那根本沒在用吧，以後跑模
→ qss05: 型，幹什麼都像玩手遊的，能用半天就偷笑了
→ skyofme: 只能說面向很多，需求也很多
→ qss05: 而且你跑本地更吃更新跟廠商優化，以後小牌又要死一遍，大
→ qss05: 牌搞不好都收訂閱費
→ jupto: 攝影、拍照、翻譯這種早就有堪用的解方 發展本地AI模型完
→ jupto: 全就是順便買噱頭而已
→ pikachu2421: 本地:可以色色 線上:不能色色
推 nwkasim: 8F好天真，你覺得想畫什麼圖廠商的AI都會讓你畫？哪天說
→ nwkasim: 禁止生成他認為的未滿18歲人物，你也拿他沒輒
→ gbcg9725: 本地Minimax真香
→ gbcg9725: 線上貴死擋東擋西
→ gbcg9725: 不過我不覺得手機跑的起來本地就是
→ jupto: 首先手機跑模型不等於本地跑模型 二來架一個本地跑模型的電
→ jupto: 腦要多少錢能跑的模型跟不跟的上技術迭代這些都是考量因素
→ jupto: 當然如果你的口袋深到能隨時蓋一座數據中心自己養模型肯定
→ jupto: 最自由 問題是一般人行嗎？