[討論] 豆包AI手機原理深度分析

[aa1477888 (Mika)]

最近在中國很紅的豆包手機

如果你還不知道是什麼

建議可以看一下六分超超的影片

https://youtu.be/f1wylnFgqFw

它確實可以算是全世界第一台

深度整合AI模型、AI代理的智慧型手機

只要用自然語言下指令

就能讓AI代理全自動操作手機

完全背景作業 無需使用者任何干預

但也因為「太強大」

所以動到了「其他人」的利益

開賣才一天 就被微信、支付寶接連封殺

然而豆包手機只不過是一台

根本不算正式型號的實驗品

卻已然成為「你不敢用的手機」

只不過 字節跳動（抖音母公司）的豆包AI

究竟是怎麼實踐AI手機的全自動化操作？

剛好今天B站UP老戴拆解了出來

https://b23.tv/diNmXCT

簡單來說

豆包AI並沒有調用上層的API

而是在一塊內建的虛擬螢幕中

實現AI代理的後台操作

豆包AI深入手機底層 直接跟系統整合 權限大開

甚至會從螢幕畫面算繪的系統緩衝區

直接抓取截圖

以每3-5秒的頻率上傳字節跳動的伺服器

由雲端AI模型讀取畫面、運算、給出指令

接著再回傳手機 指導手機上的AI進行操作

從這樣的操作路徑來看

隱私顯然是個非常大的疑慮

然而

豆包手機的發展方向 至少它所呈現出來的樣子

確實很有可能成為將來手機系統的樣貌

或許差別只在於

究竟是由誰來做這件事情而已

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 218.35.220.53 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1765348327.A.0ED.html
推 abc0922001  : 滿合理的執行方式
推 ivon852     : 這手機真的變天網的終端了，人們只是節點
推 charmingpink: 連中國自己人都怕到下架
推 xzcb2008    : 最近我看到有些奇怪應用 釘小朋友看書坐姿
推 LastAttack  : 可能未來智慧型手機還是會苟活，低隱私操作給新AI
→ LastAttack  : 終端，高隱私的留給智慧型手機
推 sova0809    : 你怕聯網問題 現在直接開源那你自己離線製作
→ sova0809    : 各大APP這塊守不住是遲早的問題
→ sova0809    : 這塊領域是 微軟 蘋果 OPENAI 跟 字母 等各巨頭的終
→ sova0809    : 極目標
噓 Erechtheus  : 你敢相信一隻偷偷截圖的私人手機？？
推 LastAttack  : 講開源太早 首先大模型要先能跑在手機之類的終端
→ LastAttack  : 應該起碼還要兩三年吧
→ LastAttack  : 目前手機能跑的低參數模型可用性還很普通
推 sova0809    : 昨天對面 智譜就開源了 直接讓你玩 這塊變動太快
推 ga278057    : 以後有機器人在家 那不就隱私看光光？交給ai勢必是
→ ga278057    : 趨勢
→ sova0809    : 這塊最大的問題永遠卡住的是使用者授權問題
推 LastAttack  : 或者至少要能跑在PC上，這樣隱私問題就能透過遠端
→ LastAttack  : 自己的PC解決
→ sova0809    : 當初微軟那個AI技術被喊停也是這個問題
推 pmes9866    : 阿里的手機上的4B量化其實蠻強的
推 LastAttack  : 哇智譜開源那個也是衝著手機自動化操作來的，看起
→ LastAttack  : 來自建伺服器來跑豆包這種手機助手已經算是未來已
→ LastAttack  : 來了
→ jacky40383  : 系統權限與資料隱私搞不定，沒人敢用
推 theevilM    : 很簡單啊，自己建一個本地LLM就不怕資料外流了
→ aa1477888   : AutoGLM的Phone Agent應該是被豆包逼出來的
推 sova0809    : 他跟豆包其實是同一戰線 各大App用隱私安全封鎖 那
→ sova0809    : 就開源讓你離線自己玩客製化 讓操作資料都自己機台
→ sova0809    : 內
→ sova0809    : 我個人也是傾向離線自設系統這塊 不然也不敢放權過
→ sova0809    : 去
→ nekoares    : Rabbit R1就是想做這種東西吧
推 xzcb2008    : b站上有一個在討論底層的
→ xzcb2008    : 就是你這篇啦
→ xzcb2008    : 傳圖片 回指令真的蠻恐怖,
推 hyghmax1202 : 隱私問題的解決方法會落在邊緣AI上，不可能跟你上
→ hyghmax1202 : 傳到伺服器用雲端AI處理，別說隱私了，無法聯網就
→ hyghmax1202 : 變一台普通手機了，總之算力和電力會進一步提升。
→ amd3dnow    : 因為隱私問題android,iphone才不敢下放...
→ amd3dnow    : 不是技術問題,是敢不敢...
推 rich22084   : 所以沒網路的話這就是隻垃圾
推 Dragonz     : 等蘋果做出來大家就不會介意什麼隱私了
推 h14315324032: 除非能落地LLM到mobile到「可用」時，才不會有問題
→ h14315324032: ，無論是哪間公司開發都一樣
推 doom3       : 感覺三年後的手機就能做到離線代理
→ pontifical  : 蘋果想像中的siri
→ s78513221   : 這東西給大廠做爭議很大，所以只能由小廠推
→ s78513221   : 光是歐美一票隱私權至高的整天抗議就飽了
→ amd3dnow    : 歐美一堆人權鬥士等著你開放,再嘞索天價賠償金
→ amd3dnow    : 中國沒這些顧慮
推 s78513221   : 至於蘋果用錢砸哭質疑隱私權的人確實很有用
推 epidemic000 : 我覺得蠻屌的
推 xzcb2008    : 大家覺得這是不是真的未來啊
推 marx0126    : 最終目標植入體內 嘻嘻
→ iamsosmart  : 離線代理的話，那耗電量呢？耗電量也是個問題吧
→ pujos       : 跟隱私一點屁關係都沒有
推 vinny93     : 回樓上 不用看B站那些人說的 我覺得他們滿蠢的
推 x20165      : 遊戲操作類似腳本？
推 is1128      : 等 Google TPU 降到手機可乘載的電力跟耗能
→ is1128      : 天網就真的來臨了
推 empingao    : 之前看榮耀YOYO就很強可系統級操控，豆包更猛。
推 greg7575    : win11 也會截圖
推 xzcb2008    : 真的假的win11也會=.=
推 agong       : Win11 可以關Recall
推 a0935006936 : 滿厲害的但感覺還是有很多問題要考慮
推 ophanim     : 如果出現能自架的agent開源框架就沒有隱私問題了
→ cp296633    : 適合老人用 連line都不太會的那種