Re: [閒聊] Deepseek加Project Digi=AI的大海賊時代?

[arrenwu (最是清楚哇她咩)]

※ 引述《litsix (Altwort)》之銘言：
: 回頭看看老黃在CES端出來的Project Digi，你要說他事前沒收到Deepseek的相關消
: 息，我是不信的。
: 這次的Deepseek事件不亞於當年NovelAI v1流出，個體戶或中小型公司也有機會拿到
: 門票了，AI的大海賊時代來臨啦!!
: 誰會先找到大秘寶呢，有洽否?
我看板上的討論，好像對於「免費爽用的模型」非常的驚喜！？

那我分享一下好了

網路上有不少有名的軟體都可以免費使用開源的語言模型

Ollama 應該是最自由的，
不過我目前覺得第一次使用的話，LM Studio 比較容易。

步驟非常簡單：

        1. 到 https://lmstudio.ai/ 下載 LM Studio，然後安裝

        2. 安裝完之後點開程式，他會引導你下載一個比較陽春的語言模型，
           把語言模型載入之後，就可以開始玩了
           https://i.imgur.com/nrg2nZx.jpg

        3. 如果對於陽春的模型不喜歡，
           還有一堆語言模型可以隨意下載使用 https://lmstudio.ai/models
           VRAM 12GB 的話大概可以用到 14B 的模型

就算沒有GPU也可以跑啦，就只是出結果的速度會比較慢而已

--
角卷綿芽 五周年紀念套組
https://i.imgur.com/k9SZ73Z.jpg
預購時間：預購開放至 2025/02/03 下午五點
預購連結：https://bit.ly/4j6AXIg

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 98.45.195.96 (美國)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1738038595.A.369.html
推 gino0717: ollama要設定安裝路徑竟然是打指令的 他那個gui做好看的
其實 Ollama 那個指令也就是一行文，然後就可以開始了。
只是CLI的界面對一般人來說實在不太討喜XD
推 guogu: ollama沒有gui吧 就是純文字 只是載入有點麻煩...
我記得應該搭配 openai-gui 使用？
推 kaj1983: 又鬼轉綿芽
※ 編輯: arrenwu (98.45.195.96 美國), 01/28/2025 12:39:19
推 guogu: lmstudio能用A卡加速嗎? GPT4ALL可以
→ guogu: 但只有官方處理過的模型可以 但後來它都沒更新新的模型
→ guogu: ollama目前只支援6800以上 可是我用的是6600XT阿
推 h0103661: ollama是工具不是模型
推 purplvampire: Ollama有chrome外掛
推 guogu: 然後不要期待本地模型的效果 應該說一般家用電腦能跑的
→ jacky40383: 網頁版還是適合大眾使用 電腦小白不會用就是不會用
→ guogu: 像是7B 14B這種等級 基本上都蠻蠢的 除了限制少
→ guogu: 完全被線上的吊起來打 除非有特殊需求不然用線上的就好
推 guogu: https://i.imgur.com/iaaXCny.png
→ guogu: 要免錢 不用登入的可以去鴨鴨走玩
→ guogu: 我有色情相關內容要翻譯都是去找鴨鴨走
推 btfghai: 也是找鴨鴨+1
推 asdfg0612: 7B 14B這種就相關行業會玩的在特定情境下好用
推 htps0763: Ollama 是用來讀取模型的吧，本地小模型目前好像沒什麼
→ htps0763: 能讓人驚艷的應用吧，除了拿來跑翻譯跟聊天之類的
推 guogu: 嗯 像是聊天AI那種基本都是7B 8B左右
→ spfy: 現在AMD的AI MAX 也搞統一記憶體了 最大可以吃到96G 已經可
→ spfy: 以跑70B了 #相信AMD
推 guogu: 老黃不是要推一個AI盒子 #相信老黃
→ spfy: Project Digits要3000美金起 MAX395+128G的ROG Z13 2025
→ spfy: 也才不到台幣8萬 對預算比較拮据的人還是有差
推 guogu: 自問自答 lmstudio應該是可以用A卡加速
→ guogu: 跑7B模型大概是27token/sec
→ qxpbyd: local模型都不怎麼樣 除非自架R1 不然還是線上的好用
→ qxpbyd: 純GUI我是用Cherry Studio
推 guogu: 自架要到線上等級大概有難度 看B站討論
→ guogu: 線上版本是698B 這等級少說也要個300GB的記憶體吧