推 mistel: 兩年前在實驗室就用開源框架把GPT2放到手機上試過了04/07 13:19
→ mistel: 只是沒必要 畢竟網路發達 中心運算就好04/07 13:19
我覺得未來還是值得試試模型小型化...如果SoC都夠強的話啦
推 Ereinion9895: 推,技術力真強04/07 13:24
推 weltschmerz: 認真說 我覺得他們應該去跟line合作 去幫我打字的句04/07 13:42
→ weltschmerz: 子找出對應的貼圖04/07 13:42
→ ccpz: 在 Pixel 6 可以跑出 5 token / sec04/07 13:42
隨著這類模型的開源,大型語言模型可能會走向Stable Diffusion那樣的發展路徑。
(雖說LLaMA一開始是提前外洩才為人所知的)
--
想辦法在開源系統跑閉源遊戲 https://i.imgur.com/FUrYLxA.png
Arch是真愛 https://i.imgur.com/0ja0Tx8.png
論使用Gentoo的好處 https://i.imgur.com/QjvfLfR.png
是言論自由,不是免費啤酒 https://i.imgur.com/sNmNm9x.png
流量密碼 https://i.imgur.com/rXERMcM.png
刪除user? 我不記得有這功能 https://i.imgur.com/xcml0xN.png
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.27.87.182 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1680843424.A.E35.html
推 mistel: 兩年前在實驗室就用開源框架把GPT2放到手機上試過了04/07 13:19
→ mistel: 只是沒必要 畢竟網路發達 中心運算就好04/07 13:19
我覺得未來還是值得試試模型小型化...如果SoC都夠強的話啦
推 Ereinion9895: 推,技術力真強04/07 13:24
推 weltschmerz: 認真說 我覺得他們應該去跟line合作 去幫我打字的句04/07 13:42
→ weltschmerz: 子找出對應的貼圖04/07 13:42
→ ccpz: 在 Pixel 6 可以跑出 5 token / sec04/07 13:42
Google的先見之明(咦
推 abc0922001: 太酷了04/07 14:14
推 intointo: @@04/07 15:16
推 NX9999: 不錯xd04/07 15:57
推 speed7022: 能不用網路也是有很多用處,例如語音助理04/07 16:08
推 Arbin: 用Android NDK打包llama.cpp不知道會不會比較快04/07 18:32
有,llama.cpp作者就有示範用NDK編譯,應會比proot快
推 pryu0121: 推04/07 18:41
推 saedn: 好厲害04/07 19:23
推 Cireiat: 推,我連docker都還沒改kernel…太有行動力了04/07 20:05
※ 編輯: ivon852 (114.27.87.182 臺灣), 04/07/2023 21:15:31
推 DFIGHT: 問一個白癡問題 chatgpt不是手機上就可以跑了嗎? 就一個04/07 21:59
→ DFIGHT: 網頁不是?04/07 21:59
推 DFIGHT: 我覺得AI還是交給網路別人算就好 幾秒鐘才回答==手機有網04/07 22:16
→ DFIGHT: 路chatgpt一兩秒就回答了04/07 22:16
確實算力不如人的情況下雲端較有優勢,不過開源自架的價值就在於可以自己掌控。
推 cowcowleft: 不是每個國家都吃到飽04/07 22:40
推 DFIGHT: 歐@@04/07 22:43
→ juliai: 這個有點厲害04/07 23:20
※ 編輯: ivon852 (114.27.87.182 臺灣), 04/08/2023 00:23:09
推 stark333: 你好厲害04/08 03:41
推 JKGOOD: 如果chatGPT可以離線不知道模型庫會多大?我猜跟Stable Di 04/08 08:25
目前有quantized處理過的LLaMA模型,最小的4GB,最大的40GB。
※ 編輯: ivon852 (111.71.221.44 臺灣), 04/09/2023 00:43:16