推 kuninaka: 地端是啥 02/02 14:40
推 greg7575: 抓到了，中共同路人 02/02 14:41
推 guogu: 其實用lmstudio更簡單 不用打任何指令 02/02 14:41
可是我用lm studio很慢 不知道為甚麼...可能是他更吃資源
→ kuninaka: 接地氣的意思嗎 02/02 14:41
→ guogu: 然後聽說7B審查會比較多一點 可是8B的中文又比較差一點 02/02 14:43
推 RandyOrlando: 怎麼一堆人都是拿去玩養自己的AI老婆XD 02/02 14:46
※ 編輯: howtotell (36.227.249.251 臺灣), 02/02/2025 14:48:11
推 oo231469785: 工作上叫本地機房也是說地端啊 支語警察是不是沒工作 02/02 14:47
→ oo231469785: 過 點點點 02/02 14:47
※ 編輯: howtotell (36.227.249.251 臺灣), 02/02/2025 14:52:39
→ ericrobin: 用gpu跑32b 4Q基本沒問題 用cpu滿恐怖的 02/02 14:50
→ ericrobin: *Q4 02/02 14:50
推 guogu: 你的電腦配備呢? 我用起來是lmstudio快非常多 02/02 14:51
→ guogu: 因為它有vulkan加速 A卡也能用 02/02 14:52
我是老機器 GA401 16gb ram rtx 2060
※ 編輯: howtotell (36.227.249.251 臺灣), 02/02/2025 14:53:56
→ guogu: 如果不用gpu體感是跟用ollama差不多 實際不知道 02/02 14:52
→ guogu: 因為ollama也沒顯示每秒幾個token 02/02 14:53
※ 編輯: howtotell (36.227.249.251 臺灣), 02/02/2025 14:55:12
推 guogu: 2060 6GB的話應該勉強塞得下去才對 02/02 15:05
→ guogu: 不過可能太緊繃 所以你用lmstudio VRAM不夠 所以沒GPU加速 02/02 15:06
→ guogu: 用ollama它有幫你塞進去有用到GPU加速所以就快很多 02/02 15:07
→ howtotell: 感謝大大 我找找看能不能硬塞.. 02/02 15:07
推 joejoe2: 有promt可以繞過審查吧 02/02 15:12
→ arrenwu: 會大吃CPU的話 速度還真的會慢到一個難受 02/02 15:12
推 guogu: temperature設0.5會不會有點低阿? 02/02 15:12
推 kuninaka: 這一定要用GPU跑的 02/02 15:14
→ guogu: 寫作設到1.5呢 雖然1.5感覺很怪 一般不是0~1嗎? 02/02 15:14
→ howtotell: 我目前用0.5的對話其實就滿長的，1.5他可能需要更多資 02/02 15:20
→ howtotell: 源我不知道能不能負擔 02/02 15:20
→ howtotell: 其實我要的也只是簡單的問與答，但是0.5他現在就打幾百 02/02 15:20
→ howtotell: 字了 02/02 15:20
推 guogu: 理論上temperature是不影響回應長度的 02/02 15:26
→ Ning01: 溫度影響的不是長度，而是發散性或創意性 02/02 15:26
→ guogu: 他是讓模型更有機會去選擇機率比較低的結果 02/02 15:26
→ guogu: 設高一點理論上會比較有"創意" 02/02 15:27