→ syldsk: 會有一堆人一直去改良啊 08/11 07:36
推 ayuhb: 因為跑不動的人會去改 08/11 07:42
→ spfy: 量化 08/11 07:45
→ EXIONG: 資本家不喜歡這種事 08/11 07:49
→ Satoman: gguf 08/11 07:49
噓 extemjin: ACG點? 量化跟多模化，現在開源模型都趨向MOE， 08/11 07:50
推 Xpwa563704ju: 因為現在AI進步很快 08/11 07:51
→ Xpwa563704ju: 就三樓講得量化，模型有改小 08/11 07:53
→ extemjin: 每次處理只需要載入部分，再爛的電腦都可以執行，差在 08/11 07:53
→ extemjin: 快慢 08/11 07:53
推 tsunamimk2: 你說的是什麼模型啊 開不開源都是因為有作量化 壓縮 08/11 07:53
→ tsunamimk2: 但那個號稱能用其實沒算上context長度限制喔 08/11 07:53
推 roger840410: 市售車為什麼比F1省油？ 08/11 07:56
→ tsunamimk2: 還有開不開源都是資本家養的 因為模型本身沒啥好藏私 08/11 07:57
→ tsunamimk2: 本質上那就是一個超大的知識索引 真正能賣的是前後處 08/11 07:57
→ tsunamimk2: 理工程的調教 還有規模 16G vram能跑啊 但context可能 08/11 07:57
→ tsunamimk2: 只有幾千字 還要用上外在的輔助去記憶 我自己家裡一張 08/11 07:58
→ tsunamimk2: 5070ti 16G 拿來推理與日常維護用短script生成 稍微大 08/11 07:58
→ tsunamimk2: 的前處理要用上64GB 的Mac mini 08/11 07:58
推 catmeat777: 拉屎菌就很耗油啊 08/11 07:58
→ tsunamimk2: 真正的大文本整個專案還是要丟給Claude max pro才夠 08/11 07:59
→ tsunamimk2: 我還得自己搞pgvector做rag 08/11 07:59
→ tsunamimk2: 最近線代抽象代數都在複習就是為了這個 08/11 08:01
→ tsunamimk2: LLM如果不是整個多層矩陣都載入vram 光是用上原始記憶 08/11 08:03
→ tsunamimk2: 體的資料搬移就會讓速度慢到無法接受了 基本上不可能 08/11 08:04
→ tsunamimk2: 部分載入 靠的是量化縮短單位資料量 08/11 08:04
噓 KyuubiKulama: 洽點 08/11 08:23
噓 nineflower: 第一沒點 第二有AI版 第三未來本地模型會像洛克人EXE 08/11 08:28
→ nineflower: 一樣 每個人的手機都有個人化AI 08/11 08:28
噓 jack90352: Acg 點在哪 08/11 08:44
→ error405: 有AI版... 08/11 08:52
→ david31476: 沒關係過沒幾天就會出現幾篇Ai是否可以取代誰的文章 08/11 09:17
推 GenShoku: 沒有context就只是玩具 塞得下跟能做事是兩回事 08/11 09:34
噓 bladesinger: 洽點 08/11 09:42
噓 necrophagist: 有ai版 08/11 10:07