[閒聊] 內顯文書機跑本地離線文字AI(Qwen3)

[error405 (流河=L)]

啟動器 koboldcpp
https://github.com/LostRuins/koboldcpp/releases/tag/v1.105.4

模型 Qwen3-1.7B.Q4_K_M.gguf
https://huggingface.co/MaziyarPanahi/Qwen3-1.7B-GGUF/tree/main

例圖
https://i.meee.com.tw/T7cynby.png
https://i.meee.com.tw/MPXsSCP.png
https://i.meee.com.tw/oTGwJTC.png

原本想玩bitnet.cpp 幾經波折(配備/相容性)最後變成這種組合 對我來說最簡單

兩個檔案載下來就能用 跟模擬器玩遊戲差不多 打開選檔案啟動 用網頁介面聊天

速度以我的爛配置約每秒一兩字 之前還需要幾分鐘的思考時間

有使用gemini的建議更改設置參數但貌似影響不大

內容方面 預設會思考模式佔掉一部分本文 可以在對話前加/no_think關掉

寫點幻想內容還可以 歷史方面有偏差 兩種都會被前文影響 (呂布稱帝..??)

價值觀符合中國標準就沒辦法 試寫色文則保留在一般向程度 也許高手能解禁


總之大概就家戶可用小玩具 也許有天拿來寫寫RPG裡書本道具的文字 像skyrim那種

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.36.254.215 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1768030575.A.4B4.html
→ error405: 不對 前兩張應該是qwen2.5
→ error405: 一樣問qwen歌手3沒關思考模式 它還會考慮你的身分動機
→ error405: *問qwen3歌手  另外幻想文差異不大
https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct-GGUF/tree/main
2.5是這個  qwen2.5-1.5b-instruct-q4_k_m.ggu
※ 編輯: error405 (114.36.254.215 臺灣), 01/10/2026 15:48:18
→ Supasizeit: Qwen 3很威 VL超好用
→ ninggo: 小模型搭配RAG在有限範圍內會發揮的比較堪用
→ error405: 完整版模型應該比我這1.7B的強多了吧
→ error405: https://i.meee.com.tw/okQ4YLY.png 塞本三國演義給它
推 YCL13: 我近期都是VL 30B A3B，前幾天試了NEXT 70B A3B就回不去，
→ YCL13: 不過這個我用kobolod跑不動，是改用lm studio來跑
→ error405: 我一開始就是試LM studio 結果CPU不相容
→ error405: 試了4B版 速度剩一半 果然文書機還是勉強
推 a159371153: 這個有沒有支援nsfw? 之前測試qwen3vl不支援nsfw，就
→ a159371153: 放棄了
→ error405: 我叫它生成精靈哥布林 但它的尺度就很一般向
→ error405: 大致就手指滑過 有種奇異的感覺 不會有重點部位描寫
推 YCL13: 如果要寫NSFW就算是uncensored模型也很難直接寫，還是要給
→ YCL13: 適當的preset才能越獄，但小模型光是讀懂那些preset就有困
→ YCL13: 難，所以我猜應該不容易有好效果
推 Supasizeit: Next 70B Q4要48Gb 你怎跑
推 kimwang: kobold之類的可以把一部份模型卸載到RAM裡 主機RAM夠大
→ kimwang: 就可以跑 但是速度會慢很多
→ kimwang: 我12GB VRAM也跑過大小18G多的31B Q4模型
→ kimwang: 只是速度慢加上跟Gemini之類比智力還是差不少
推 Supasizeit: 喔 那就喘了
推 patvessel: next不是80b嗎...
推 YCL13: 我是用雙顯卡+64RAM，可以跑Q4+32K上下文，因為A3B速度可接
→ YCL13: 受，比一般的30B模型快非常多
→ YCL13: 對喔，NEXT是80B模型，前面打錯成70B
→ error405: 拿1.7B要它生奇幻小說人名吐一堆玄冥無極蕭瑟
→ error405: 看來玄幻小說吃了不少www
→ error405: 指名要西式奇幻風格後好很多
→ error405: https://i.meee.com.tw/M4u3qb1.png 上下文影響解法