[新聞] 在智慧型手機上運行生成式AI的趨勢將在20

[stpiknow (H)]

1.原文連結：連結過長者請使用短網址。

https://bit.ly/3YVVYMf

2.原文標題：標題須完整寫出且須符合內文(否則依板規刪除並水桶)。

在智慧型手機上運行生成式AI的趨勢將在2024年實踐

3.原文來源(媒體/作者)：例:蘋果日報/王大明(若無署名作者則不須)

科技產業資訊室 / 茋郁

4.原文內容：請刊登完整全文(否則依板規刪除並水桶)。

借助生成式AI，智慧型手機可以成為人們真正的數位助理。用戶可以使用它自動閱讀或撰
寫電子郵件、起草文檔和創建演講文稿。AI驅動的座艙將使駕駛員和乘客能夠更自然地互
動和控制娛樂、導航和車輛功能，從而創造更加個性化和直觀的體驗。

不過，AI的討論主要集中在雲端上。ChatGPT使用大量的處理、儲存和記憶體。到目前為
止，大部分重點都集中在訓練和完善新模型上，這些模型通常在雲端進行。

但從2024年開始，三星和OnePlus的全新手機可以運行由Meta對ChatGPT的解決方案提供支
持的生成式AI應用程式，這是屬於On-Device AI。Meta已與智慧型手機晶片商高通和聯發
科技建立了單獨的合作夥伴關係，以使其升級成為現實。

聯發科技於2023年8月23日透露，將發布一款利用Meta生成式AI系統Llama 2大語言模型（
LLM），為其下一代旗艦晶片組天璣9300帶來裝置上的生成式AI功能。其實，高通公
司也在2023年 7月宣布與Meta建立類似的合作夥伴關係。

目前，像ChatGPT這樣需要大量數據的生成式AI工具的運行成本極高，因為它們需要依賴
於遠程雲端伺服器。一旦將生成式AI在手機上本地運行，這將有助於降低開發人員的經濟
成本，進而可以為用戶帶來大量新的應用程式和服務。

Meta正試圖通過免費贈送代碼來鼓勵開發人員使用其AI大語言模型。一些專家警告說，這
種自由放任的做法可能會導致不良行為者利用該技術達到邪惡目的。

對於普通公眾來說，最終結果可以提供量身客製化的個人助理，根據您的興趣、網路活動
、健身數據、位置甚至您說話的方式提供建議和提示。這些所謂的AI代理將有各種不同的
性格供你與之互動。而且，由於這些新服務將在您的手機上運行，因此理論上您的數
據將比在雲端上的數據更加隱密和安全。最後，更廣泛的好處將是減少能源消耗。

眾所周知，維持聊天機器人運行的數據中心需要大量的水來冷卻。事實上，研究人員最近
發現，訓練ChatGPT至少消耗了70萬公升水，而與機器人的平均對話相當於打翻了500毫升
的瓶子。

從整體發展趨勢來看，Meta並不是唯一一家致力於將生成式AI引入智慧型手機的公司。谷
歌最近宣布，它成功地在行動裝置上運行了其最新大型語言模型PaLM 2的輕量級版本，這
也為將來On-Device AI帶來了契機。


5.心得/評論：內容須超過繁體中文30字(不含標點符號)。

隨著生成式 AI 的處理需求、使用案例和使用者增加，在裝置上執行的 AI（On-device
AI）將在讓生成式 AI 在各個應用程式和產業中擴展，並擴展到更多邊緣裝置中，扮演不
可或缺的角色。在裝置上啟用生成式 AI 將有助於在任何地方加速採用，並減少雲端基礎
設施成本的上升。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 203.145.192.245 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1693455476.A.EBB.html
推 frank01     : 重點是手機上運行生成式AI對一般人有什麼重大幫助
→ frank01     : 嗎？比如 Siri ,幫我下單買進一檔明天會漲停的股票
→ frank01     : ？或 siri ,在ptt 幫我發文帶風向 我有30公分！
推 NX9999      : 自動駕駛概念啊
→ BadGame     :  https://youtu.be/mr0Dz6ZL6Wo  vivo V3 AI
→ BadGame     :  聯合發哥 https://youtu.be/Hioo9c3pJOA
→ square4     : 智能終端應該還是主打隱私，怎麼簡化模型，並考慮
→ square4     : 手機低蒜粒、運行功耗，要有一定的技術積累，目前
→ square4     : 手機廠大概只有蘋果谷歌公開較多技術細節
→ square4     : https://machinelearning.apple.com/
推 tacoux      : 蒜粒，笑死
→ NexusPrime  : 這精簡化的model吧，原本幾千億參數的model不可能
→ NexusPrime  : 在手機跑的，光容量就裝不下，RAM也不夠。精簡版能
→ NexusPrime  : 力很有限吧…
推 WOGEchidna  : 也不一定要用LLM，說到底LLM能不能成為下一代AI的
→ WOGEchidna  : 雛形還是個問題
推 Ereinion9895: 邊緣運算，這是好方向
推 GiPaPa      : 跑llama阿 手機效能就足夠了
→ brianuser   : 沙小我電腦跑風扇都轉爆了這種事交給伺服器才對吧
→ Ceferino    : 所以要生成什麼？拍高壓電塔變東京鐵塔嗎
→ leo125160909: 手機產A圖指日可待
→ trywish     : 最耗運算的，只有訓練而已。如果生圖，ios早有了，
→ trywish     : M1、M2晶片都能生，那手機、平板要生也不難。只是時
→ trywish     : 間要很久，而且圖比較小張。
→ jjjj222     : 在手機上跑LLM? 認真?