Re: [閒聊] 內顯文書機跑本地離線文字AI(Qwen3)

[error405 (流河=L)]

※ 引述《error405 (流河=L)》之銘言：
: ※ 引述《error405 (流河=L)》之銘言：
: : 啟動器 koboldcpp
: : https://github.com/LostRuins/koboldcpp/releases/tag/v1.105.4
: 接著玩4B版 Qwen3-4B-Q4_K_M.gguf
: https://huggingface.co/Qwen/Qwen3-4B-GGUF/tree/main
: 例圖
: https://i.meee.com.tw/mH5uAHi.png
: 要它生個魔法師大綱 沒關思考模式 給我了個史詩級設定
: https://i.meee.com.tw/7NJv3nD.png
: 問呂布 乍看很有說服力 但典故基本瞎掰XD
: https://i.meee.com.tw/03zBMHw.png
: 問香港歌手 四天王葉蒨文??
: 應該說扯淡能力更強了 但檔案大一倍對低配置就更苛刻
: 要它生個魔法師戰鬥場景卡一小時了吧  上文過長的緣故??

玩剛出的Qwen3.5 4B版
https://huggingface.co/unsloth/Qwen3.5-4B-GGUF


香港歌手 資料有新
https://i.meee.com.tw/ZtDEhc6.png
8964不講 中共立場
https://i.meee.com.tw/Y6GrlI1.png
呂布 大致正確 但沒寫完要接續就自動思考模式
https://i.meee.com.tw/Pib15ai.jpg
哥吉拉 出現奇怪液體
https://i.meee.com.tw/GuDcPKF.jpg

魔法師大綱 又是星字開頭 然後一長就思考模式
https://i.meee.com.tw/rsaNcbf.jpg


資料有多點但規制強化 不時進英文思考模式 大致這樣

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.36.202.66 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1772600727.A.065.html
推 ZMTL: 昨天已經在玩3.5解限版
→ error405: 坐等4B GGUF解限
推 Supasizeit: 買了Claude max以後沒空玩這些了XDDD 要努力燒token
→ error405: 試了下0.8B 基本亂講一通= =
推 ZMTL: 為了美伊戰爭做準備，跟我家Agent討論完後覺得未來能本地還
推 ZMTL: 是本地
推 ZMTL: https://i.imgur.com/GPJjgaR.jpeg
推 ZMTL: 應該說，Agent的文字處理跟過濾本地來就好
→ error405: 發覺4B破限版已經有了 載了能講64 但細節沒說很正確
→ error405: 還虛構出了不存在的人名= =
→ error405: 破限能寫修感色文 寫嗨了就忘了標點符號
推 Supasizeit: Qwen 本來就可以講六四 習維尼
→ error405: 對阿本來應該是可以的
→ error405: 9B破限答的好多了 雖然我剩每秒一字了
→ error405: 事先打<think></think>好像有點用
→ error405: 9B一樣會講嗨不標點 但語尾有時候會波浪號
→ error405: https://i.meee.com.tw/IfkgCeg.png
→ error405: 人類歷史上前所未有奇蹟壯觀宏大畫卷徐徐展開(略
推 ZMTL: 不過Qwen 3.5 的核心團隊昨天好像全跑了
www.ejtech.ai/科技動態/qwen-離職潮-阿里-主將-林俊暘-離職/
www.hkej.com/instantnews/china/article/4332458/阿里Qwen技術負責人林俊暘離職+稱
真的需要休息
好像有啥內部矛盾意見分歧
推 ZMTL: 我現在一張3090，找時間研究一下兩張怎麼組
推 ZMTL: https://i.imgur.com/9WfYrhi.jpeg
推 newyorker54: 板主，電源比較麻煩，1200w比較保險，兩塊卡插上去有
→ newyorker54: 間隔空間比較好
→ error405: 9B照例寫盜賊女孩結果廢話連篇故事崩壞 參數還要調
→ error405: 事先打<think></think>好像又沒用了
→ error405: 編輯文章加個[繼續]直接按鈕接下去 學到了
在 Author's Note 裡寫:
必須使用標準中文標點符號。每句話結束一定要加句號「。」，問句用「？」 ，感嘆句
用「！」 ，並列或停頓處用逗號「，」或頓號「、」。禁止出現沒有標點的長句。絕對
不要產生連續超過 60 個字沒有任何標點的段落。

又會了一招
※ 編輯: error405 (114.36.214.158 臺灣), 03/05/2026 14:50:22
→ ganei: 30系列要跑記得降壓限瓦，Linux 底下已經可以降壓跑了
※ 編輯: error405 (114.36.214.158 臺灣), 03/06/2026 16:51:11
推 YCL13: 要把thinking關掉請查所用軟體該用的參數，在模型載入一併
→ YCL13: 關掉就不會有問題了
Thinking mode (default):
    temperature=0.6, top_p=0.95, top_k=20, min_p=0

Non-thinking mode:
    temperature=0.7, top_p=0.8, top_k=20, min_p=0

改了下感覺有變快
※ 編輯: error405 (114.36.214.158 臺灣), 03/07/2026 10:12:32