推 mqhung: 好，要上128G可以少花一點錢了 114.34.228.170 03/26 21:10
推 UniversalGod: 爽啊~~~記憶體廠跌死你 101.10.251.115 03/26 21:15
推 pphyy5844548: 我覺得企業會賣更多… 123.252.75.84 03/26 21:15
推 lc85301: 減少 6 倍那不就能跑 6 倍大的模型了嗎 36.231.102.42 03/26 21:16
推 kaj1983: 壓縮後可以裝的更多了 218.166.17.80 03/26 21:16
推 saiboos: 記憶卡蛙... 219.71.144.68 03/26 21:17
推 davidex: 不可能 絕對不可能 36.230.8.61 03/26 21:17
推 whizz: 爽啦 記憶體本來就應該便宜 61.223.6.35 03/26 21:17
推 leviva: google竟然能間接拯救消費市場？220.129.138.108 03/26 21:19
推 MK47: 真假 估狗有這麼猛喔 111.83.69.136 03/26 21:22
推 superRKO: 減少6倍不就代表可以裝更多了嗎?220.135.222.131 03/26 21:22
→ knight72728: google我的神，推動地球進步的英雄125.230.216.168 03/26 21:27
→ a27588679: 哇靠 大場面來了 180.177.33.135 03/26 21:29
推 shokotan: 爛美光可以重新開賣記憶體了嗎 = = 111.250.128.86 03/26 21:32
推 UniversalGod: 的跌死你！！！ 101.10.251.115 03/26 21:34
推 CJhang: 可以花六倍 一樣漲 101.12.86.7 03/26 21:34
→ brianuser: 語言模型受惠，那影片那些呢 218.164.20.35 03/26 21:35
→ sss870192: 威剛 美光 三星 :幹 114.36.121.77 03/26 21:36
推 UniversalGod: 多跌一些www 101.10.251.115 03/26 21:40
推 wind183: 壓縮技術是拿來跑更大的模型不是拿來降 101.14.4.0 03/26 21:41
→ wind183: 價用的 101.14.4.0 03/26 21:41
推 aa1477888: 顆粒廠有什麼好幹的 又沒擴廠根本不虧 218.35.220.53 03/26 21:42
推 oopFoo: 這個東西主要是vector search，影響有限 58.114.66.74 03/26 21:43
推 bill6613: 能壓縮更多不代表可以裝更多，代表AI基 211.20.112.29 03/26 21:46
→ bill6613: 建更激烈不是 211.20.112.29 03/26 21:46
推 kuninaka: 只會越用越多而已 36.239.82.97 03/26 21:48
→ kuninaka: 因為我要看雪山狐狸 36.239.82.97 03/26 21:48
推 pita30: 應該是覺得能跑更大模型而不是少買記憶體 219.69.115.71 03/26 21:49
→ pita30: 吧 219.69.115.71 03/26 21:49
推 vin312789: 誰跟你說這樣就不會漲了 27.240.40.251 03/26 21:49
推 baddaddy: 記憶體需求會更多，以前做不到的事，現 36.231.180.62 03/26 21:50
→ baddaddy: 在ai能做到更多事，用量會變更大 36.231.180.62 03/26 21:50
→ baddaddy: 傻傻地 36.231.180.62 03/26 21:50
推 XiaoLi: 壓縮六倍=會用更多的資料訓練 114.34.216.177 03/26 21:52
→ XiaoLi: 根本不會減少記憶體需求吧 114.34.216.177 03/26 21:52
推 ctes940008: 好哦，變六倍效能喔，繼續軍備競賽。 36.237.110.244 03/26 21:52
→ ctes940008: 一樣是有多少包多少 36.237.110.244 03/26 21:52
推 sm981512: 爽啊 36.239.79.205 03/26 21:54
推 w1222067: 這不是昨天就在說嗎 61.224.23.191 03/26 22:07
→ w1222067: 感覺 壓根不影響 漲價XD 61.224.23.191 03/26 22:07
推 foolwind: 減少6倍不就代表價錢還能再漲6倍以上 123.192.162.54 03/26 22:08
推 kjm1104: 兩個字 不可能 223.138.20.105 03/26 22:08
推 ltytw: 能壓縮之後 只會越來越貪婪吧? 36.234.206.177 03/26 22:09
推 d0178411: 還我1T1000 32G3000 111.71.213.96 03/26 22:11
→ taruru: 有人只是上PTT跟看水管還是插滿128G 61.224.178.213 03/26 22:17
推 YCL13: 對有用AI的人而言，這是讓RAM更值錢，舉例 59.115.138.195 03/26 22:17
→ taruru: 記憶體沒在嫌多的 61.224.178.213 03/26 22:17
→ YCL13: 來說現在大家都覺得64X4要價10萬太貴，但能 59.115.138.195 03/26 22:17
→ YCL13: 壓縮6倍等於256G DRAM可以offload 1T等級的 59.115.138.195 03/26 22:17
→ YCL13: LLM，那10萬就會突然變不貴，讓跑AI的更瘋 59.115.138.195 03/26 22:17
→ YCL13: 狂去搶RAM 59.115.138.195 03/26 22:17
推 x21999125x: 剛才看locallama subreddit又多了一 110.30.8.197 03/26 22:25
→ x21999125x: 個rotorquant，這個月的LLM發展超多 110.30.8.197 03/26 22:25
推 ejru65m4: 壓縮六倍記憶體 八倍的效能223.136.112.129 03/26 22:27
推 a45351: 如果是真的，價格至少還要翻3倍 101.8.232.36 03/26 22:28
→ ejru65m4: 除了三星 好像都有擴廠的風聲223.136.112.129 03/26 22:29
→ Akabane: 沒錯 壓縮六倍只是讓他算多六倍XD 114.35.99.248 03/26 22:30
→ ejru65m4: 等過半年 看看哪個是預言家223.136.112.129 03/26 22:30
→ KY1998: 需求還是很多，不然狐狸醬板鴨怎來的 114.24.142.62 03/26 22:30
→ ejru65m4: 明天倒是可以先看看市場信心223.136.112.129 03/26 22:31
→ ejru65m4: 看看漲三倍還六倍223.136.112.129 03/26 22:32
→ a740125: 能壓縮也代表可以用的更爽阿 1.172.84.50 03/26 22:37
推 violetish: 讓子彈飛一會兒吧 別先爽 各零件普遍漲 114.35.247.1 03/26 22:41
推 HiJimmy: 我覺得是幫i和a賣cpu，gpu主算力，cpu 36.235.157.130 03/26 22:45
→ HiJimmy: 當小助手，分配、壓縮和解壓，就是cpu也 36.235.157.130 03/26 22:45
→ HiJimmy: 要越配越高，ram就不會降，卡到是一直加 36.235.157.130 03/26 22:45
推 liaox: 我是覺得短時間內不可能跌啦 1.161.30.47 03/26 22:46
推 aegis43210: 又不是每個模型都可以支援，而且現在 106.104.70.5 03/26 22:50
→ aegis43210: 記憶體需求主要在西台灣，google不給 106.104.70.5 03/26 22:50
→ aegis43210: 西台灣用的話，影響就很小 106.104.70.5 03/26 22:50
推 kant1123: 能壓縮就能裝更多阿 1.173.176.60 03/26 22:51
推 littledrop: 就像寒武紀大爆發 一旦發展就會加速 150.117.221.17 03/26 22:52
→ littledrop: 更快的網路、更快的運算、更快的儲存 150.117.221.17 03/26 22:53
→ littledrop: 對於AI的需求 當然是更大模型跟運算 150.117.221.17 03/26 22:54
推 ejru65m4: 是啊 更大更多 現在就算全記憶體擴產六223.136.112.129 03/26 22:56
→ ejru65m4: 倍也吃得下223.136.112.129 03/26 22:56
→ ejru65m4: 換算法降需求不過是另一種擴產六倍而已223.136.112.129 03/26 22:57
→ star99: 這個模型配此算法少六倍 其他不一定能 42.73.112.32 03/26 23:08
→ star99: 圖像聲音影像生成各種算法底層也不同 42.73.112.32 03/26 23:08
推 alvistan: 記憶體要泡沫了！！！ 125.229.106.95 03/26 23:10
推 sova0809: OK 資料中心又多了6倍的記憶體使用空間 218.166.73.150 03/26 23:14
推 necrophagist: 這是壓縮上下文大小kv cache的 模 223.143.78.117 03/26 23:17
→ necrophagist: 型本身大小一樣 就是能讓你對話能 223.143.78.117 03/26 23:17
→ necrophagist: 更長 223.143.78.117 03/26 23:17
推 bizer: 壓得多，代表能裝更大的模型，不代表記憶體 36.225.186.149 03/26 23:22
→ bizer: 省 36.225.186.149 03/26 23:22
推 RaiGend0519: 我剛剛去看這到底啥玩意 1.168.51.108 03/26 23:27
→ RaiGend0519: 省掉記憶體 1.168.51.108 03/26 23:27
推 chinhan1216: YA! 118.161.16.148 03/26 23:28
→ RaiGend0519: 但是提高運算負擔、降低準確度 1.168.51.108 03/26 23:28
→ RaiGend0519: 雖然搞不太懂到底要怎麼適用各模型 1.168.51.108 03/26 23:28
→ RaiGend0519: 但如果NV搞成晶片硬體加速的話應該會 1.168.51.108 03/26 23:29
→ RaiGend0519: 很可觀 1.168.51.108 03/26 23:29
推 RaiGend0519: 問AI他給個例子滿好懂的 1.168.51.108 03/26 23:32
→ RaiGend0519: 現在使用的AI就像音樂聽FLAC 1.168.51.108 03/26 23:32
→ RaiGend0519: TurboQuant把FLAC壓成MP3 1.168.51.108 03/26 23:32
→ RaiGend0519: 聽起來還有個87%像但容量大幅減少 1.168.51.108 03/26 23:33
推 RaiGend0519: 於是小容量播放器也能塞幾千首歌 1.168.51.108 03/26 23:35
→ RaiGend0519: 容量需求仍然成長但趨緩 1.168.51.108 03/26 23:36
推 ElderShock: 黃牛： 假的 111.71.32.205 03/26 23:36
推 KooA: 現在買一條=之前買6條，買爆 1.34.190.197 03/26 23:37
推 reaturn: 可以壓縮那不代表說可以買更多記憶體來218.166.139.143 03/26 23:46
→ reaturn: 做多一倍的事嗎218.166.139.143 03/26 23:46
推 alvistan: 注意這個是省HBM 不是省SSD 125.229.106.95 03/26 23:51
推 bobby4755: 太棒了 更多人會想搶記憶體了 223.137.4.136 03/26 23:51
推 dsin: 這個是省下紀錄內容的容量 不是模型本身 假 123.194.245.27 03/27 00:07
→ dsin: 設你之前跟AI聊天10句話要1G記憶體存 現在可 123.194.245.27 03/27 00:08
→ dsin: 以存60句用1G 不存下來他就忘記之前講過的話 123.194.245.27 03/27 00:09
→ dsin: 這叫kv cache 123.194.245.27 03/27 00:10
推 lordmi: 一堆瞎起鬨的。這個主要是在縮減你本地端 36.229.84.19 03/27 00:18
→ lordmi: 推論KV Cache size，也就是說利好手機或 36.229.84.19 03/27 00:18
→ lordmi: 筆電應用ai，對少說有幾千張h100在訓練的 36.229.84.19 03/27 00:18
→ lordmi: 集群根本不相干，更別提減少裡面的記憶體 36.229.84.19 03/27 00:18
→ lordmi: 用量了 36.229.84.19 03/27 00:18
→ ketrobo: 這樣反而要漲了,算力賣便宜了,再漲六倍 223.140.169.83 03/27 00:21
→ ketrobo: 價錢賣 223.140.169.83 03/27 00:21
→ Warez: 不用大量？那就是還是要囉？ 再漲你個十萬 60.249.139.8 03/27 00:35
→ Warez: ！ 60.249.139.8 03/27 00:35
→ yun1019: 想太多 還是需要記憶體 220.134.139.35 03/27 00:53
推 casco5566: 加油 118.166.29.82 03/27 01:26
推 r60214: 壓縮越多不就代表裝越多更好 59.102.166.48 03/27 02:13
推 samsonfu: 本地端能用就是福音 27.53.230.97 03/27 02:24
→ tshu: 在電腦上有壓縮的東西還少嗎？手機照片影片 59.126.229.192 03/27 02:32
→ tshu: ，空間有省？哪個不是越用越大？網路頻寬加 59.126.229.192 03/27 02:32
→ tshu: 大再加大，win11一直塞新bug沒變大？ 59.126.229.192 03/27 02:32
→ tuwile: 牛皮了GOOGLE 1.168.32.245 03/27 02:58
→ dildoe: 不會結果context大小變大 軍備競賽依舊吧 118.168.181.87 03/27 06:21
→ dildoe: 每天給錯誤引導ncc視而不見 118.168.181.87 03/27 06:22
→ dildoe: 這種有奇怪目的文一般人有需要參考嗎？ 118.168.181.87 03/27 06:24
→ dildoe: 貼股版不是更好 118.168.181.87 03/27 06:24
推 YCL13: 如果是省KV cache，那覺得品質要考量，就像 59.115.138.195 03/27 06:40
→ YCL13: 早就有的fast attention也可，但不少人就覺 59.115.138.195 03/27 06:40
→ YCL13: 得為了省記憶體降到Q4並不值得 59.115.138.195 03/27 06:40
推 iorittn: 雪山狐狸的長度多6倍 42.77.52.171 03/27 07:00
噓 ruei1999: 整個華爾街菜B說法，記憶體能少用代表我 114.36.100.27 03/27 08:35
→ ruei1999: 本來32G可能變成16G就可以，那我為什麼 114.36.100.27 03/27 08:35
→ ruei1999: 不繼續塞滿32G？現在搞模型的本地戶沒錢 114.36.100.27 03/27 08:35
→ ruei1999: 上128，256啊… 114.36.100.27 03/27 08:35
推 CloudVII: 原本飛天因為戰爭掉下來 更因為新技術又 223.23.199.243 03/27 08:43
→ CloudVII: 下墜了 223.23.199.243 03/27 08:43
推 tetani: 感覺是騙人 壓縮後 用更多記憶體優勢更多 218.173.205.52 03/27 09:09
推 sali921: 5090可以跑192G模型，爽翻天223.138.147.219 03/27 09:18
推 newyorker54: 載入模型所需記憶體不變，只有上下文 42.78.36.162 03/27 09:23
→ newyorker54: 長度吃掉的記憶體可能少為四分之一， 42.78.36.162 03/27 09:23
→ newyorker54: 256k上下文或許用10G，最吃記憶體的 42.78.36.162 03/27 09:23
→ newyorker54: 本體還是一樣消耗 42.78.36.162 03/27 09:23
推 hannah5269: 套句等等黨講的 我好興奮哇！ 42.79.152.45 03/27 09:25
→ aabbc777: 省記憶體不代表會少買記憶體 59.120.215.74 03/27 09:31
→ tn601374: 代表成本降低 但是還是需求很大 1.164.223.209 03/27 09:33
推 hayato01: 確實省記憶體跟少買是兩回事103.129.180.234 03/27 09:36
→ hayato01: 因為不論省不省，都是量大才能幹大事103.129.180.234 03/27 09:36
→ clair281: 需求還是在啊,不過消費級應該可以降了 101.9.203.253 03/27 09:38
推 tddt: 記憶體廠跌死你們 36.231.75.176 03/27 09:45
推 selfhu: 可以榨六次了114.137.129.228 03/27 09:54
推 vixiv: 趁機吸納個鬼 正常是改投google吧 怕沒人接 42.72.183.140 03/27 10:08
→ vixiv: 記憶體逆 42.72.183.140 03/27 10:08
→ linzero: 壓縮多少會拖慢時間吧？ 36.230.150.69 03/27 10:11
→ aa0968: 記憶體廠: 幹 這樣我怎麼薛錢！223.137.207.159 03/27 10:13
→ kimula01: 記憶體跟算力一樣 一定會軍備競賽 1.164.129.154 03/27 10:29
→ Vansace: 喔? 有新技術了? 114.47.82.190 03/27 10:35
推 newyorker54: 要在vllm下才能用而且vllm現在就還沒 42.78.36.162 03/27 10:48
→ newyorker54: 支援這個演算法 42.78.36.162 03/27 10:49
→ commandoEX: WAV才是未壓縮音訊 59.125.204.130 03/27 10:58
→ widec: 我只問一件事：你會嫌助理記的事情太多嗎？ 114.42.242.182 03/27 11:17
→ widec: 就算現在的AI記憶範圍多一倍 都還遠遠不夠 114.42.242.182 03/27 11:18
→ widec: 而google以外的公司不就要買更多才能趕上？ 114.42.242.182 03/27 11:19
推 mimicqneb: 賺到6倍記憶體？ 49.215.218.68 03/27 11:20
推 mainsa: 這麼說好惹 如果nv推出一個ai算力加倍的 49.216.222.244 03/27 11:22
→ mainsa: 新晶片 那各家ai公司會買一半的量還是買 49.216.222.244 03/27 11:23
→ mainsa: 更多? 我有六倍性能還不她媽加更多錢搶爆 49.216.222.244 03/27 11:23
→ mainsa: 原本可能還嫌貴 現在有這壓縮技術可能願意 49.216.222.244 03/27 11:23
→ mainsa: 用再貴兩倍的錢去搶 49.216.222.244 03/27 11:24
→ takanasiyaya: 想太多，不是省1/6是用6倍，現在120 101.10.218.65 03/27 11:30
→ takanasiyaya: B都「小」模型了 101.10.218.65 03/27 11:30
推 bunjie: 這技術的推出 會加速各大廠在支出和獲利 111.82.50.22 03/27 11:43
→ bunjie: 取得一個平衡 111.82.50.22 03/27 11:43
→ bunjie: 這技術如果是google獨有 假設同性能他只 111.82.50.22 03/27 11:45
→ bunjie: 要用1/6的成本就和對手打的平分秋色 那稍 111.82.50.22 03/27 11:45
→ bunjie: 微再多一些成本就領先 那這樣當然就不回 111.82.50.22 03/27 11:45
→ bunjie: 再用100%的成本去執行囉 111.82.50.22 03/27 11:45
→ excercang: 後頭有大魔王歐盟阿，籠斷性技術122.116.214.166 03/27 12:08
→ excercang: 很容易被歐盟用藉口罰錢，成本轉稼後122.116.214.166 03/27 12:09
→ excercang: 未必比現在還省122.116.214.166 03/27 12:09
推 Bustycat: 這不是讓你可用更大模型的技術 27.53.225.168 03/27 12:16
→ Bustycat: 現在價跌只是很多人不懂 27.53.225.168 03/27 12:17
推 RaiGend0519: 嗯，能落實的話我也覺得會再平衡 1.168.5.240 03/27 12:19
推 RaiGend0519: 短期需求趨緩成長期發展，就比較難 1.168.5.240 03/27 12:23
→ RaiGend0519: 炒價格惹 1.168.5.240 03/27 12:23
→ corum68972: 這波掃記憶體的又不是google 42.72.92.211 03/27 12:38
推 menchian: 減少6倍不就代表同樣的硬體可以跑更大更 114.42.183.229 03/27 12:52
→ menchian: 好的模型？ 114.42.183.229 03/27 12:52
→ necrophagist: 就說這是壓kv cache了 壓模型早就 223.143.78.117 03/27 13:09
→ necrophagist: 有gguf等很多方法 但都是犧牲精度 223.143.78.117 03/27 13:09
→ necrophagist: 去換 223.143.78.117 03/27 13:09
推 klm619: 既有規模直接翻六倍，表示又能再增加了 111.248.212.23 03/27 13:21
→ tsairay: google就是買不到貨才需要搞這個吧 202.39.11.150 03/27 14:36
推 newyorker54: 上下文長度增加，記憶內容加大，只會120.114.249.100 03/27 14:46
→ newyorker54: 讓人覺得AI變聰明，使用量只會更多不120.114.249.100 03/27 14:46
→ newyorker54: 會更少120.114.249.100 03/27 14:46
→ MrDisgrace: 醬不就RAM買越多賺越多XD136.226.240.252 03/27 15:40
推 kanding255: 爽啦 49.217.132.63 03/27 17:50
推 tcchu: 有沒人套住？ 27.242.98.42 03/27 19:18
→ SkyBearV: 絕對有人怕了 不然也不會清一色唱衰220.135.195.252 03/27 20:01
→ ksng1092: 方向是不要再受制於特定硬體架構，然後 114.32.144.153 03/27 20:26
→ ksng1092: 就炒不起來（？） 114.32.144.153 03/27 20:26
→ ksng1092: 另外在問google買不買得到貨之前，好像 114.32.144.153 03/27 20:27
→ ksng1092: 要問openai到底還吃不吃得下貨XD 114.32.144.153 03/27 20:27
推 ryl54007: 太棒了真的降價我要幫gemeni升級pro了 111.241.119.3 03/27 20:40
推 asphodelux: 需求減少 但多多益善是吧 42.78.53.104 03/27 23:56
推 RaiGend0519: 沒事 閃迪今晚回神 1.168.5.240 03/28 00:57
→ RaiGend0519: 雖然又Ａ下去惹 1.168.5.240 03/28 00:57