[閒聊] 現在桌機本地ai好強喔

[h0103661 (單推人) 每日換婆 (1/1)]

玩了上周出的qwen3.5 9b

跑Q4量化用50卡的blackwell可以跑100+tps

跑分超過GPT-120b

還內建多模態

可以陪你看本子

而且從零安裝不用一分鐘

想想一年前個人電腦只有不會組json的Gemma跟中文0分的llama

==


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.60.166 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Marginalman/M.1773362200.A.A88.html
→ pchooooome: 肥肥裝27b 跟32b a3b,覺得嗄嗄頂
→ pchooooome: 35b a3b
→ Wardyal: 請你給我SOP 我要玩玩看
→ h0103661: 下載LM Studio，在模型搜尋下載 HauhauCS/Qwen3.5-9B-U
→ h0103661: ncensored-HauhauCS-Aggressive 這是無審查版本的，50
→ h0103661: 卡選Q4_K_M量化版本可以跑很快，剩下都會自動處理好，
→ h0103661: 很方便。上下文多大就看你要用多少顯存，2k~10k差不多
→ h0103661: ，temperature建議低點比如0.6。
→ h0103661: 如果覺得9b太肥還有4b的，至於2b太白癡不推薦。
→ Wardyal: 好