看板 Stock 關於我們 聯絡資訊
※ 引述 《teddy98》 之銘言: : 黃仁勳NVIDIA,濫用VRAM 容量來壟斷市場。手法惡質、黑心! : : 他企圖讓每一張卡的效能剛好精準地卡在某個價位。 : : 如果你想多跑一點 AI 模型或開更高解析度 : : 這張卡的顯存就會「剛好」爆掉,逼你必須加錢買更高一階, : : 甚至買貴 5 到 10 倍的專業工作站卡。 : : : 但是隨著記憶體X6壓縮技術問世 : : 使得硬體資產重估:七巨頭(微軟、Meta、亞馬遜...)過去兩年瘋狂囤積 H100。如果壓 : 縮技術普及, : 原本需要 6 台伺服器的算力,現在 1 台就能達成。 : : 效能倍增:壓縮不只省空間,還能減少資料傳輸量。這意味著目前的 PCIe 頻寬或 HBM頻 : 寬會顯得「變寬了 6 倍」,大大提升運算效率,降低能耗。 : : MEM 壓縮 X6 本質上是一種 「由軟體定義的硬體升級」。它會讓輝達透過 VRAM 容量建 : 立起來的定價權瞬間化為烏有。 看 AI 發展不能只看現狀 LLM 每4-6月就大改版, 眼光得放到兩三年後。 記憶體壓縮技術帶來的並非硬體需求縮減 而是讓上下文長度與模型能力直接翻六倍 這種技術突破只會誘發更大量的 AI 採用, 當模型變得更好用、更普及時 DRAM 的總體需求量反而會噴發得更厲害。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.71.213.34 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1774528130.A.B94.html
sdbb : 台肯 03/26 20:32
bear753951 : 就跟上次的ds一樣,好用的ai只會造成更多人用而已 03/26 20:40
h0103661 : 可以讀跟讀的懂是兩回事,上下文佔用大小變1/10不 03/26 20:40
h0103661 : 代表注意力能放大10倍== 03/26 20:40
holysong : 日肯,ai爆發記憶體才開始缺貨 03/26 20:52
amingfirst : 一個記憶體 各自表述 大家都很會講 時間來證明啦 03/26 20:53
amingfirst : ㄏ 03/26 20:53
heyjude1118 : 看資本支出能不能在新技術衝擊前回收 03/26 20:56
hutten : 如果這能讓AI進步,那AI需求不是飽滿而是進入更高速 03/26 21:11
hutten : 發展 03/26 21:11
jen1121 : 記憶體之於AI應用就像錢一樣,有人嫌多? 03/26 21:45
StarRoad : 想從60分變90分,砸錢不手軟;但現在要再花一倍的 03/26 21:54
StarRoad : 錢變95分,可就不一定划算了。所以不是說瓶頸少了 03/26 21:54
StarRoad : 就代表更多投入 03/26 21:54
abuu0929 : 6倍是跟古老的模型比,實際頂多降低25% 03/26 22:02
js850604 : 硬體需求永遠不嫌多,向來是硬體限制軟體發展 03/26 22:15
TRYING : 不要小看人類的欲望 CC 03/26 23:11
HiuAnOP : 雀食 03/26 23:23
hank78321 : 傑文斯 03/26 23:55
okbon : 去槓桿 先砍再說 03/27 00:00
bndan : 配件之所以叫配件 就是因為上限被人鎖住了 純加裝 03/27 00:23
bndan : 有有邊際效應 講難聽的 夠便宜才能拉高上限 貴就是 03/27 00:23
bndan : 只剩「高價值」硬需求而已 03/27 00:23
g9911761 : 循環股要循環了嗎 03/27 02:29
z83420123 : kv cache只佔整個記憶體的1-2% 單純獲利了結+殺股 03/27 03:54
z83420123 : 價才有機會重新讓利潤夠 03/27 03:54
z83420123 : 商業伺服器大概可以占30% 03/27 03:56
howdiee : 幾年前的60分是威爾史密斯吃麵 現在60分是醬板鴨 03/27 09:36
howdiee : 懂得都懂 03/27 09:36